[论文解读] Towards Robust Curve Text Detection with Conditional Spatial Expansion

Zichuan Liu, Guosheng Lin+4 more|arXiv (Cornell University)|Mar 21, 2019

Handwritten Text Recognition Techniques被引用 6

一句话总结

本文提出了一种新颖的条件空间扩展（CSE）机制，通过将任务建模为基于种子的区域扩展过程，实现了鲁棒的曲线文本检测。从任意内部点开始，CSE利用CNN提取的局部特征和上下文信息选择性地扩展文本区域，在极少后处理的情况下，对重叠或相邻的文本实例表现出高度鲁棒性，在Total-Text上的F-score达到80.2%，在CTW-1500上的F-score达到78.4%。

ABSTRACT

It is challenging to detect curve texts due to their irregular shapes and varying sizes. In this paper, we first investigate the deficiency of the existing curve detection methods and then propose a novel Conditional Spatial Expansion (CSE) mechanism to improve the performance of curve text detection. Instead of regarding the curve text detection as a polygon regression or a segmentation problem, we treat it as a region expansion process. Our CSE starts with a seed arbitrarily initialized within a text region and progressively merges neighborhood regions based on the extracted local features by a CNN and contextual information of merged regions. The CSE is highly parameterized and can be seamlessly integrated into existing object detection frameworks. Enhanced by the data-dependent CSE mechanism, our curve text detection system provides robust instance-level text region extraction with minimal post-processing. The analysis experiment shows that our CSE can handle texts with various shapes, sizes, and orientations, and can effectively suppress the false-positives coming from text-like textures or unexpected texts included in the same RoI. Compared with the existing curve text detection algorithms, our method is more robust and enjoys a simpler processing flow. It also creates a new state-of-art performance on curve text benchmarks with F-score of up to 78.4$\%$.

研究动机与目标

• 解决现有曲线文本检测方法在重叠或相邻文本实例存在时因区域提议质量差而表现不佳的局限性。
• 通过建模种子点与文本实例其余部分之间的空间依赖关系，降低对精确初始区域提议的依赖。
• 在具有不规则形状、不同方向和文本类纹理的复杂场景中，提升检测的鲁棒性和精度。
• 开发一种灵活且参数化的机制，可无缝集成到现有的两阶段目标检测框架中。
• 在公开的曲线文本基准上实现SOTA性能，兼具高F-score和低推理时间。

提出的方法

• CSE机制将曲线文本检测视为一种从文本区域内部任意种子点启动的条件区域扩展过程。
• 它使用CNN提取局部图像特征，并通过建模种子点与邻近区域之间的空间依赖关系来引导选择性扩展。
• 扩展过程具备上下文感知能力，利用已合并区域的特征以提升判别能力并减少误报。
• 该方法直接在主干网络的空间特征上运行，因此独立于可能有缺陷的初始区域提议。
• CSE具有高度参数化特性，可无需重大架构修改地集成到现有两阶段检测流水线中。
• 通过仅关注相关空间区域，CSE实现了高精度的实例级文本区域提取，且后处理极少。

实验结果

研究问题

• RQ1 如何使曲线文本检测对因传统区域提议产生混淆的重叠或相邻文本实例更具鲁棒性？
• RQ2 与多边形回归或基于分割的方法相比，基于种子的区域扩展机制能在多大程度上提升检测精度？
• RQ3 上下文感知的、条件化的扩展机制是否能有效减少同一RoI内文本类图案或多余文本的误报？
• RQ4 CSE机制在不同形状、尺寸和方向的曲线文本上表现如何？
• RQ5 CSE对推理速度和在标准目标检测工作流中的集成可行性有何影响？

主要发现

• 所提出的CSE方法在Total-Text基准上实现了80.2%的新SOTA F-score，超越了包括TextSnake和CTD在内的先前方法。
• 在CTW-1500基准上，该方法实现了78.4%的F-score，比之前SOTA高出4.4个百分点。
• 该方法对模糊的区域提议表现出强大的鲁棒性，能有效抑制相邻或重叠文本实例带来的误报。
• 与多边形回归基线相比，CSE在Total-Text上将F-score提升了5.0个百分点，在CTW-1500上提升了4.4个百分点，且精度和召回率均更高。
• 推理时间高效，Total-Text上每张图像仅需0.42 ms，CTW-1500上每张图像仅需0.38 ms，表明其具备实际部署可行性。
• 可视化结果证实，CSE仅选择性地扩展种子周围的区域，避免包含多余文本或纹理。