[论文解读] Look More Than Once: An Accurate Detector for Text of Arbitrary Shapes

Chengquan Zhang, Borong Liang+5 more|arXiv (Cornell University)|Apr 13, 2019

Handwritten Text Recognition Techniques参考文献 41被引用 18

一句话总结

LOMO 是一种新型场景文本检测器，通过迭代优化和灵活的形状表示，提升了对任意形状和极长文本的检测性能。它采用端到端可训练架构，结合直接回归器、迭代优化模块和形状表达模块，在 ICDAR2017-RCTW、SCUT-CTW1500、Total-Text、ICDAR2015 和 ICDAR17-MLT 等基准测试中实现了最先进性能。

ABSTRACT

Previous scene text detection methods have progressed substantially over the past years. However, limited by the receptive field of CNNs and the simple representations like rectangle bounding box or quadrangle adopted to describe text, previous methods may fall short when dealing with more challenging text instances, such as extremely long text and arbitrarily shaped text. To address these two problems, we present a novel text detector namely LOMO, which localizes the text progressively for multiple times (or in other word, LOok More than Once). LOMO consists of a direct regressor (DR), an iterative refinement module (IRM) and a shape expression module (SEM). At first, text proposals in the form of quadrangle are generated by DR branch. Next, IRM progressively perceives the entire long text by iterative refinement based on the extracted feature blocks of preliminary proposals. Finally, a SEM is introduced to reconstruct more precise representation of irregular text by considering the geometry properties of text instance, including text region, text center line and border offsets. The state-of-the-art results on several public benchmarks including ICDAR2017-RCTW, SCUT-CTW1500, Total-Text, ICDAR2015 and ICDAR17-MLT confirm the striking robustness and effectiveness of LOMO.

研究动机与目标

• 解决现有场景文本检测器在处理极长和任意形状文本实例时的局限性。
• 克服卷积神经网络感受野受限的问题，通过支持多次感知循环，提升长文本检测能力。
• 通过用灵活的几何形状建模替代刚性四边形表示，提升对弯曲、波浪形及多方向文本的检测精度。
• 开发一种端到端可训练的检测器，逐步优化预测结果并重建精确的多边形文本实例。
• 在各种文本类型（包括定向、长文本、多语言及不规则形状文本）上实现鲁棒性能。

提出的方法

• LOMO 使用直接回归器（DR）为文本实例生成初始四边形提议。
• 迭代优化模块（IRM）通过在多轮迭代中回归坐标偏移量，逐步优化这些提议，提升对长文本的定位精度。
• IRM 使用位置感知注意力机制，聚焦于长文本的远端区域，从而实现更好的长距离特征感知。
• 形状表达模块（SEM）通过回归文本区域、中心线和边框偏移量，重建精确的多边形表示。
• SEM 支持对任意形状的灵活建模，包括水平、多方向、弯曲及波浪形文本。
• 整个 LOMO 框架采用端到端训练，整合 DR、IRM 和 SEM 实现联合优化。

实验结果

研究问题

• RQ1 通过支持多次感知循环，迭代优化能否提升极长文本的检测精度？
• RQ2 灵活的形状表示模型能否在弯曲和不规则形状文本上超越标准四边形表示？
• RQ3 将迭代优化与形状建模相结合，能否在多种文本类型上实现最先进性能？
• RQ4 所提出方法能否在具有不同文本形状、方向和长度的基准测试中实现良好泛化？
• RQ5 LOMO 在长文本和不规则文本上的性能与端到端及单阶段检测方法相比如何？

主要发现

• 在 ICDAR2017-RCTW 上，LOMO 的 H-mean 达到 78.4%，在长文本和不规则文本检测中优于先前方法。
• 在 SCUT-CTW1500 上，LOMO 在单尺度测试中取得 81.6% 的 H-mean，在多尺度测试中达到 83.3%，展现出强大的泛化能力。
• 在 Total-Text 上，LOMO 在单尺度测试中取得 75.7% 的 H-mean，在多尺度测试中达到 83.3%，表现出对弯曲和多方向文本的鲁棒性。
• 在 ICDAR2015 上，LOMO 在单尺度测试中取得 87.2% 的 H-mean，在多尺度测试中达到 87.7%，超越非端到端方法，并与顶尖端到端模型持平。
• 在 ICDAR2017-MLT 上，LOMO 在多尺度测试中取得 73.1% 的 H-mean，优于现有端到端方法至少 2.3%。
• 可视化结果证实，IRM 显著提升了对长文本的检测效果，而 SEM 实现了对复杂文本形状的精确拟合。