[论文解读] Mask TextSpotter v3: Segmentation Proposal Network for Robust Scene Text Spotting

Minghui Liao, Guan Pang+3 more|arXiv (Cornell University)|Jul 18, 2020

Handwritten Text Recognition Techniques参考文献 46被引用 9

一句话总结

Mask TextSpotter v3 引入了分割提议网络（SPN）以替代端到端场景文本检测中的基于锚点的RPN，从而实现对任意形状和旋转文本实例的精确多边形提议。通过在SPN生成的提议上应用硬RoI掩码，该方法实现了最先进性能，在Rotated ICDAR 2013上超越先前方法21.9%，在Total-Text上提升5.9%，在IC15上提升7.1%，且使用通用词典。

ABSTRACT

Recent end-to-end trainable methods for scene text spotting, integrating detection and recognition, showed much progress. However, most of the current arbitrary-shape scene text spotters use region proposal networks (RPN) to produce proposals. RPN relies heavily on manually designed anchors and its proposals are represented with axis-aligned rectangles. The former presents difficulties in handling text instances of extreme aspect ratios or irregular shapes, and the latter often includes multiple neighboring instances into a single proposal, in cases of densely oriented text. To tackle these problems, we propose Mask TextSpotter v3, an end-to-end trainable scene text spotter that adopts a Segmentation Proposal Network (SPN) instead of an RPN. Our SPN is anchor-free and gives accurate representations of arbitrary-shape proposals. It is therefore superior to RPN in detecting text instances of extreme aspect ratios or irregular shapes. Furthermore, the accurate proposals produced by SPN allow masked RoI features to be used for decoupling neighboring text instances. As a result, our Mask TextSpotter v3 can handle text instances of extreme aspect ratios or irregular shapes, and its recognition accuracy won't be affected by nearby text or background noise. Specifically, we outperform state-of-the-art methods by 21.9 percent on the Rotated ICDAR 2013 dataset (rotation robustness), 5.9 percent on the Total-Text dataset (shape robustness), and achieve state-of-the-art performance on the MSRA-TD500 dataset (aspect ratio robustness). Code is available at: https://github.com/MhLiao/MaskTextSpotterV3

研究动机与目标

• 解决基于RPN的方法在检测极端长宽比、不规则形状和密集朝向文本时的局限性。
• 克服RPN生成的轴对齐矩形提议将多个文本实例合并为单个RoI的问题。
• 通过精确的多边形提议解耦相邻文本实例，提升识别鲁棒性。
• 开发一种无需人工设计锚点、支持任意形状文本检测的提议网络。
• 在包含旋转、长宽比、形状和小文本实例等多样挑战的基准上实现卓越性能。

提出的方法

• 提出一种无锚点的分割提议网络（SPN），生成精确的多边形提议，而非轴对齐的矩形。
• 利用SPN生成更匹配极端长宽比或不规则形状文本实例的精确、任意形状提议。
• 对SPN生成的提议应用硬RoI掩码，以抑制背景噪声和相邻文本实例。
• 将SPN集成到Mask TextSpotter v2框架中，构建一个端到端可训练的场景文本检测系统。
• 利用掩码后的RoI特征进行识别，确保每个RoI仅包含单一文本实例。
• 采用统一架构联合训练检测与识别任务，使用多边形标注进行监督。

实验结果

研究问题

• RQ1 无锚点提议网络是否能提升对自然场景中任意形状和旋转文本的检测与识别性能？
• RQ2 用SPN替代RPN是否能减少在密集朝向场景中多个文本实例被合并为单个RoI的现象？
• RQ3 在SPN生成的提议上应用硬RoI掩码是否能通过隔离单个文本实例来提升识别准确率？
• RQ4 该方法在具有极端长宽比、不规则形状和小文本实例的基准上表现如何？
• RQ5 与基于RPN的最先进方法相比，SPN方法在鲁棒性方面提升程度如何？

主要发现

• Mask TextSpotter v3 在Rotated ICDAR 2013数据集上实现21.9%的相对性能提升，证明其在旋转鲁棒性方面的优越性。
• 在Total-Text数据集上，识别F-measure提升5.9%，证实其对不规则形状文本的形状鲁棒性增强。
• 在MSRA-TD500数据集上达到最先进性能，验证其对长文本行中极端长宽比的鲁棒性。
• 使用90k词的通用词典时，在IC15数据集上相比TextDragon提升7.1%，表明其在小尺寸和低分辨率文本实例上的强大性能。
• 所提出的SPN结合硬RoI掩码在四种消融实验变体中表现最佳，证明其在隔离单个文本实例方面的有效性。
• 该方法在极端旋转角度（如90°）下仍保持高精度，尽管由于识别方向歧义仍存在轻微干扰。