[论文解读] Character Region Awareness for Text Detection

Youngmin Baek, Bado Lee+3 more|arXiv (Cornell University)|Apr 3, 2019

Handwritten Text Recognition Techniques参考文献 37被引用 58

一句话总结

CRAFT 使用区域和亲和力图来检测单个字符，采用弱监督训练策略，在多种曲线/文本任意数据集上实现最新效果，无需微调。

ABSTRACT

Scene text detection methods based on neural networks have emerged recently and have shown promising results. Previous methods trained with rigid word-level bounding boxes exhibit limitations in representing the text region in an arbitrary shape. In this paper, we propose a new scene text detection method to effectively detect text area by exploring each character and affinity between characters. To overcome the lack of individual character level annotations, our proposed framework exploits both the given character-level annotations for synthetic images and the estimated character-level ground-truths for real images acquired by the learned interim model. In order to estimate affinity between characters, the network is trained with the newly proposed representation for affinity. Extensive experiments on six benchmarks, including the TotalText and CTW-1500 datasets which contain highly curved texts in natural images, demonstrate that our character-level text detection significantly outperforms the state-of-the-art detectors. According to the results, our proposed method guarantees high flexibility in detecting complicated scene text images, such as arbitrarily-oriented, curved, or deformed texts.

研究动机与目标

• 推动检测任意形状文本的鲁棒性，超越单词级框。
• 提出一个以字符为中心的检测框架，定位字符区域并将其链接成文本实例。
• 开发一个弱监督的真实数据地面真相生成机制，在缺乏字符标注的真实数据上进行训练。
• 在曲线和多边形文本数据集上展示最先进的性能。
• 通过定位字符而非整个文本实例，展示对尺度方差的鲁棒性。

提出的方法

• 一个全卷积骨干网络（VGG-16 带跳跃连接）输出两个热力图：字符区域分数和字符亲和力分数。
• 地面真相生成使用高斯热力图扭曲到字符框以创建区域和亲和力标签。
• 弱监督学习通过将单词级标注通过分水岭划分为字符级框并由置信度图加权，生成伪地面真相以用于真实图像。
• 训练将合成数据（SynthText）和真实世界的单词级数据结合，使用置信度加权的损失来应对不完美的伪GT。
• 推断通过对区域和亲和力图进行阈值、应用连通分量标记，输出单词级四边形框，且对曲线文本可选的多边形风格后处理。

实验结果

研究问题

• RQ1 以字符为中心的表示是否能在形状异常的文本上（曲线、长文本或任意变形）超越以单词为中心的检测器？
• RQ2 弱监督学习是否能在没有明确字符标注的真实数据上实现有效的字符级检测？
• RQ3 通过亲和力图的字符级链接对尺度、方向和透视畸变的鲁棒性有何影响？
• RQ4 模型是否能在不同标注风格的数据集之间泛化（矩形、四边形、多边形），而无需大量微调？

主要发现

• CRAFT 在多边形数据集（ICDAR 2013/2015/2017，MSRA-TD500）上实现最先进的性能，具有强大的 H-mean，如 IC13: 95.2 H；IC15: 86.9 H；IC17: 73.9 H，并在 IC13 上报告 8.6 FPS。
• 在多边形类型数据集（TotalText, CTW-1500）上，CRAFT 达到较高的 H-measure（TotalText: 83.6；CTW-1500: 83.5）。
• 与端到端检测器相比，CRAFT 在 H-mean 上具有竞争力（TotalText: 83.6；CTW-1500: 83.5），尽管并未为识别进行端到端训练。
• 该方法在不进行多尺度测试的情况下表现鲁棒，利用关注字符内部及字符间关系的小感受野，而不是整段文本实例。
• 一个额外的 LinkRefiner 通过 refinement 长曲文本的亲和力，改善 CTW-1500 风格的多边形注释，获得更好的多边形结果。