[论文解读] 2D-CTC for Scene Text Recognition

Zhaoyi Wan, Fengming Xie+3 more|arXiv (Cornell University)|Jul 23, 2019

Handwritten Text Recognition Techniques参考文献 39被引用 30

一句话总结

本文提出2D-CTC，即连接时序分类（Connectionist Temporal Classification）的扩展，将场景文本建模为二维概率分布而非一维序列，从而更好地处理弯曲、定向及噪声文本。该方法在常规与非规则文本基准上均达到最先进性能，同时保持高推理速度，优于原始CTC和基于注意力的方法。

ABSTRACT

Scene text recognition has been an important, active research topic in computer vision for years. Previous approaches mainly consider text as 1D signals and cast scene text recognition as a sequence prediction problem, by feat of CTC or attention based encoder-decoder framework, which is originally designed for speech recognition. However, different from speech voices, which are 1D signals, text instances are essentially distributed in 2D image spaces. To adhere to and make use of the 2D nature of text for higher recognition accuracy, we extend the vanilla CTC model to a second dimension, thus creating 2D-CTC. 2D-CTC can adaptively concentrate on most relevant features while excluding the impact from clutters and noises in the background; It can also naturally handle text instances with various forms (horizontal, oriented and curved) while giving more interpretable intermediate predictions. The experiments on standard benchmarks for scene text recognition, such as IIIT-5K, ICDAR 2015, SVP-Perspective, and CUTE80, demonstrate that the proposed 2D-CTC model outperforms state-of-the-art methods on the text of both regular and irregular shapes. Moreover, 2D-CTC exhibits its superiority over prior art on training and testing speed. Our implementation and models of 2D-CTC will be made publicly available soon later.

研究动机与目标

• 为解决原始CTC在处理场景文本固有二维空间分布时的局限性，即原本为二维但被压缩为一维序列的问题。
• 通过将CTC扩展至在高度方向上操作二维概率分布，保留文本特征中的空间上下文信息。
• 提升对弯曲、旋转或定向等非规则文本形式的识别准确率，这些形式在传统一维序列模型中处理效果较差。
• 通过设计高效的动态规划算法，实现2D-CTC计算，从而保持高推理速度。
• 通过在高度方向上实现类似注意力的特征聚焦机制，提供更具可解释性的中间预测结果，且无需字符级别标注。

提出的方法

• 通过在概率分布中引入第二个维度（高度），扩展原始CTC，使路径搜索可在时间与高度两个维度上进行。
• 重新设计CTC损失函数，以在二维分布上计算条件概率，保留空间结构并减少噪声干扰。
• 采用动态规划高效计算2D-CTC损失，尽管增加了维度，但时间复杂度几乎可忽略不计。
• 采用全卷积神经网络架构，支持端到端训练与推理，实现并行化处理，提升运行速度。
• 引入路径转移机制，自适应聚焦于相关文本特征，同时抑制背景杂波。
• 通过在高度方向上可视化类似注意力的行为，实现弱监督下的字符定位，无需边界框标注。

实验结果

研究问题

• RQ1 将CTC扩展至二维是否能提升场景文本识别的准确率，特别是对非规则和弯曲文本实例？
• RQ2 与一维序列建模相比，文本识别中建模二维空间分布是否能降低对背景噪声和杂波的敏感性？
• RQ3 2D-CTC能否在保持或提升推理速度的同时，实现比原始CTC和基于注意力的解码器更高的准确率？
• RQ4 2D-CTC的公式设计在多大程度上能实现可解释的中间预测，如无需显式监督的字符位置估计？
• RQ5 2D-CTC的计算成本如何扩展？高效的动态规划算法是否能使其在实际部署中具备可行性？

主要发现

• 2D-CTC在标准基准测试中达到最先进性能，包括IIIT-5K、ICDAR 2015、SVP-Perspective和CUTE80，尤其在CUTE80和Total-Text等非规则文本数据集上提升显著。
• 在CUTE80基准上，2D-CTC实现91.8%的识别准确率，优于先前方法，并展现出对弯曲和旋转文本的强大鲁棒性。
• 在单张GPU上推理速度达36.22 FPS，是基于注意力的ASTER模型（11.35 FPS）的3至4倍，证明其推理效率更优。
• 动态规划算法将2D-CTC的计算开销降至几乎可忽略的水平，使其在维度增加的情况下仍具备实际应用可行性。
• 2D-CTC生成的预测更具可解释性，可视化结果可揭示近似字符位置与方向，且无需字符级别标注。
• 该方法在性能上持续优于原始CTC及添加2D注意力的原始CTC，证实2D-CTC公式相比其他注意力整合策略更具优势。