[论文解读] FC2RN: A Fully Convolutional Corner Refinement Network for Accurate Multi-Oriented Scene Text Detection

Xugong Qin, Yu Zhou+3 more|arXiv (Cornell University)|Jul 10, 2020

Handwritten Text Recognition Techniques参考文献 58被引用 6

一句话总结

FC2RN 提出了一种全卷积角点精炼网络，通过一种新颖的四边形 RoI 卷积（QRC）操作，对初始四边形预测进行精炼，从而提升多方向场景文本检测性能，实现对长文本和多方向文本的精确定位。该方法在四个基准数据集上实现了最先进性能，且计算开销极低。

ABSTRACT

Recent scene text detection works mainly focus on curve text detection. However, in real applications, the curve texts are more scarce than the multi-oriented ones. Accurate detection of multi-oriented text with large variations of scales, orientations, and aspect ratios is of great significance. Among the multi-oriented detection methods, direct regression for the geometry of scene text shares a simple yet powerful pipeline and gets popular in academic and industrial communities, but it may produce imperfect detections, especially for long texts due to the limitation of the receptive field. In this work, we aim to improve this while keeping the pipeline simple. A fully convolutional corner refinement network (FC2RN) is proposed for accurate multi-oriented text detection, in which an initial corner prediction and a refined corner prediction are obtained at one pass. With a novel quadrilateral RoI convolution operation tailed for multi-oriented scene text, the initial quadrilateral prediction is encoded into the feature maps which can be further used to predict offset between the initial prediction and the ground-truth as well as output a refined confidence score. Experimental results on four public datasets including MSRA-TD500, ICDAR2017-RCTW, ICDAR2015, and COCO-Text demonstrate that FC2RN can outperform the state-of-the-art methods. The ablation study shows the effectiveness of corner refinement and scoring for accurate text localization.

研究动机与目标

• 解决自然场景中多方向、长文本及尺度变化文本的精确检测挑战。
• 改进直接回归式文本检测器，后者受限于感受野较小且在长文本上定位性能较差。
• 在保持简单、端到端、无锚点流程的同时，通过角点精炼提升检测精度。
• 设计一种轻量级全卷积模块，可无缝集成到现有检测器中。

提出的方法

• 提出一种全卷积角点精炼网络（FC2RN），通过直接回归完成初始四边形预测。
• 提出一种新颖的四边形 RoI 卷积（QRC）操作，将初始预测编码为特征图，实现空间感知的精炼。
• QRC 模块使用轻量可变形卷积，在预测四边形角点周围采样特征，捕获上下文信息以支持精炼。
• 网络同时预测偏移修正量和初始预测的精炼置信度分数，提升定位与检测质量。
• 精炼头为全卷积结构，使模型可端到端训练与部署，避免不可微操作。
• 该方法即插即用，可轻松集成到如 EAST 等现有无锚点检测器中，无需架构大规模修改。

实验结果

研究问题

• RQ1 通过特征编码实现角点精炼是否能提升多方向文本（尤其是长文本和不规则形状文本）的定位精度？
• RQ2 轻量级全卷积精炼模块是否在保持高效率的同时，优于基线直接回归检测器？
• RQ3 所提出的 QRC 操作与标准 RoI 池化相比，在捕获四边形预测的空间上下文方面表现如何？
• RQ4 该精炼机制是否能降低长文本行（大长宽比）的误检率并提升召回率？
• RQ5 该精炼模块在具有不同文本方向与尺度的多样化基准上，性能提升程度如何？

主要发现

• 在 MSRA-TD500 单尺度测试下，FC2RN 达到 88.9 的 F-measure，优于最先进方法 GNNets（使用更深的 ResNet152 主干网络）。
• 在 ICDAR2017-RCTW 上，FC2RN 实现 88.7% 的召回率，较之前最先进方法 GNNets 提升近 2%。
• 在 COCO-Text 上，FC2RN 在 IoU 0.5 下达到 63.0 的 F-measure，在 IoU 0.75 下达到 37.3 的 F-measure，优于多尺度方法如 RRD 和 Mask TextSpotter。
• 在 IoU 0.75 下，FC2RN 相较 RRD 提升 1.3 的 F-measure，表明其四边形定位精度更优。
• 尽管仅增加 0.61M 参数与 50.3 GMac 计算量，FC2RN 仍保持高速，1280×800 分辨率下达到 5.8 FPS。
• 消融实验表明，角点精炼与置信度评分均显著提升定位精度，尤其在长文本实例上效果更明显。