[论文解读] Recurrent Calibration Network for Irregular Text Recognition

Yunze Gao, Yingying Chen+4 more|arXiv (Cornell University)|Dec 18, 2018

Handwritten Text Recognition Techniques参考文献 27被引用 9

一句话总结

本文提出了一种用于不规则场景文本识别的循环校准网络（RCN），通过迭代地优化特征点坐标并直接从原始图像采样，逐步校正扭曲文本，从而保持字符完整性。该方法在曲线文本和多方向文本基准上达到最先进性能，尤其在CUTE80上的表现相比之前方法最高提升9个百分点。

ABSTRACT

Scene text recognition has received increased attention in the research community. Text in the wild often possesses irregular arrangements, typically including perspective text, curved text, oriented text. Most existing methods are hard to work well for irregular text, especially for severely distorted text. In this paper, we propose a novel Recurrent Calibration Network (RCN) for irregular scene text recognition. The RCN progressively calibrates the irregular text to boost the recognition performance. By decomposing the calibration process into multiple steps, the irregular text can be calibrated to normal one step by step. Besides, in order to avoid the accumulation of lost information caused by inaccurate transformation, we further design a fiducial-point refinement structure to keep the integrity of text during the recurrent process. Instead of the calibrated images, the coordinates of fiducial points are tracked and refined, which implicitly models the transformation information. Based on the refined fiducial points, we estimate the transformation parameters and sample from the original image at each step. In this way, the original character information is preserved until the final transformation. Such designs lead to optimal calibration results to boost the performance of succeeding recognition. Extensive experiments on challenging datasets demonstrate the superiority of our method, especially on irregular benchmarks.

研究动机与目标

• 为解决在非受限环境中严重扭曲、不规则文本（如曲线、透视或倾斜文本）的识别挑战。
• 克服单步空间变换因扭曲不准确而导致字符信息丢失的局限性。
• 设计一种循环校准机制，逐步校正扭曲，同时保留原始图像细节。
• 以端到端方式联合优化校准与识别，以提升识别性能。
• 在不依赖额外标注或复杂多任务学习的前提下保持高精度，从而消除对额外标注的需求。

提出的方法

• RCN采用循环结构，迭代优化几何变换，估计连续校准步骤之间的残差变换。
• 不同于传播变换后的图像，网络在迭代过程中追踪并优化特征点坐标，以避免信息损失。
• 在每一步中，将优化后的特征点映射回原始输入图像，并直接从原始图像采样特征，以保留字符细节。
• 校准网络与识别网络共享识别目标进行联合训练，实现端到端优化。
• 定位网络预测相对于前一特征点的坐标偏移，隐式建模残差空间变换。
• 方法使用薄板样条（TPS）变换进行空间扭曲，其参数由每一步迭代中优化后的特征点估计得出。

实验结果

研究问题

• RQ1 循环校准机制能否提升在严重扭曲、不规则文本上的识别性能？
• RQ2 与传播变换后图像相比，追踪特征点坐标而非图像是否能减少迭代校准过程中的信息损失？
• RQ3 校准与识别的端到端联合训练能否优于分别优化的方式？
• RQ4 与单步空间变换方法相比，所提方法在曲线和多方向文本上的表现如何？
• RQ5 该方法能否在不依赖额外标注（如边界框或词典）的情况下实现更优性能？

主要发现

• RCN在SVT上达到88.6%的准确率，在IIIT5k上达到94.0%，在CUTE80上达到88.5%，显著优于先前方法，尤其在曲线文本上表现突出。
• 在CUTE80上，RCN相比之前最先进方法提升9个百分点，证明其在严重扭曲文本上的强大性能。
• 在Total-Text（多方向）上达到76.3%的准确率，在Total-Text（曲线）上达到66.7%，均为新最先进结果。
• 即使在IC03和IC13等常规基准上，RCN也表现具有竞争力，显示出对各类文本类型的鲁棒性。
• 消融实验表明，若移除特征点优化（RCN-3 w/o FP-R），CUTE80上的准确率下降1.1%，证实其关键作用。
• 该方法在不增加额外参数或标注的情况下保持高性能，而其他依赖字符边界框或大型词典的方法则不具备此优势。