[论文解读] CentripetalText: An Efficient Text Instance Representation for Scene Text Detection

Tao Sheng, Jie Chen+1 more|arXiv (Cornell University)|Jul 13, 2021

Handwritten Text Recognition Techniques参考文献 47被引用 16

一句话总结

本文提出 CentripetalText (CT)，一种新颖的文本实例表征方法，将任意形状的文本分解为文本核（kernels）与向心偏移（centripetal shifts），实现快速、准确且鲁棒的场景文本检测。通过使用松弛回归（relaxed regression）处理向心偏移，并借助 OpenCV 操作实现高效重建，CT 在实时推理下达到最先进性能，在 Total-Text 和 MSRA-TD500 上优于先前方法，同时实现了更精确的提议网络（CPN），支持端到端识别。

ABSTRACT

Scene text detection remains a grand challenge due to the variation in text curvatures, orientations, and aspect ratios. One of the hardest problems in this task is how to represent text instances of arbitrary shapes. Although many methods have been proposed to model irregular texts in a flexible manner, most of them lose simplicity and robustness. Their complicated post-processings and the regression under Dirac delta distribution undermine the detection performance and the generalization ability. In this paper, we propose an efficient text instance representation named CentripetalText (CT), which decomposes text instances into the combination of text kernels and centripetal shifts. Specifically, we utilize the centripetal shifts to implement pixel aggregation, guiding the external text pixels to the internal text kernels. The relaxation operation is integrated into the dense regression for centripetal shifts, allowing the correct prediction in a range instead of a specific value. The convenient reconstruction of text contours and the tolerance of prediction errors in our method guarantee the high detection accuracy and the fast inference speed, respectively. Besides, we shrink our text detector into a proposal generation module, namely CentripetalText Proposal Network, replacing Segmentation Proposal Network in Mask TextSpotter v3 and producing more accurate proposals. To validate the effectiveness of our method, we conduct experiments on several commonly used scene text benchmarks, including both curved and multi-oriented text datasets. For the task of scene text detection, our approach achieves superior or competitive performance compared to other existing methods, e.g., F-measure of 86.3% at 40.0 FPS on Total-Text, F-measure of 86.1% at 34.8 FPS on MSRA-TD500, etc. For the task of end-to-end scene text recognition, our method outperforms Mask TextSpotter v3 by 1.1% on Total-Text.

研究动机与目标

• 为解决自然场景中任意形状、弯曲及多方向文本实例的表征挑战。
• 克服现有基于组件的方法的局限性，包括推理速度慢以及因 Dirac delta 回归导致的对预测误差敏感的问题。
• 设计一种简单但鲁棒的文本表征方式，通过松弛回归与高效后处理，实现快速推理与高精度。
• 开发一种提议生成模块（CPN），通过生成更紧凑、更精确的文本提议，提升端到端文本检测性能。

提出的方法

• 文本实例被表示为文本核（骨架）与向心偏移图的组合，后者引导外部像素向核靠近。
• 通过概率图的二值化与连通域分析获得文本核。
• 利用一种新型的松弛 L1 损失对向心偏移进行密集回归，允许预测值在一定范围内即视为正确，而非必须精确匹配。
• 通过沿预测向心向量将像素移至最近的核，使用高效的矩阵运算与 OpenCV 函数将像素分组为文本实例。
• 该方法可实现对文本轮廓的快速重建，对预测误差具有高度容忍，从而提升鲁棒性与推理速度。
• 通过在 Mask TextSpotter v3 中替换 SPN 模块，构建了新的提议网络——CentripetalText 提议网络（CPN），显著提升了端到端识别任务中的提议质量。

实验结果

研究问题

• RQ1 如何使文本实例表征在自然场景中对任意形状、弯曲及多方向文本既简单又鲁棒？
• RQ2 与严格的 Dirac delta 回归相比，对向心偏移使用松弛回归是否能提升检测的鲁棒性与泛化能力？
• RQ3 所提出的 CentripetalText 表征是否能在保持或提升检测精度的同时实现更快的推理速度？
• RQ4 基于 CPN 的提议生成模块是否能在端到端文本检测任务中超越 SPN？
• RQ5 该方法在具有不同文本形状与方向的多样化基准上是否具备良好的泛化能力？

主要发现

• 在 Total-Text 上，该方法以 40.0 FPS 的推理速度实现 86.3% 的 F-measure，优于 DB 与 PAN，同时保持实时性能。
• 在 MSRA-TD500 上，该方法在使用 SynthText 进行预训练后，以 34.8 FPS 的速度实现 86.1% 的 F-measure，较 PAN 提升 4.1%。
• 基于 CPN 的端到端文本检测器在 Total-Text 上实现 71.9% F-measure（无词典）与 79.5%（全词典），较 Mask TextSpotter v3 提升 1.1% 的 F-measure。
• 定性结果表明，CPN 生成的多边形掩码比 SPN 更紧凑，表明其提议质量更优，有利于识别任务。
• 在 CTW1500 上，该方法在使用外部训练数据的情况下实现 83.9% 的 F-measure（>40 FPS），在所有方法中排名第二。
• 松弛 L1 损失使模型对向心偏移预测误差具有更强鲁棒性，因为只要预测值在合理范围内即视为正例，从而提升泛化能力。