[论文解读] MOST: A Multi-Oriented Scene Text Detector with Localization Refinement

Minghang He, Minghui Liao+7 more|arXiv (Cornell University)|Apr 2, 2021

Handwritten Text Recognition Techniques参考文献 43被引用 4

一句话总结

本文提出 MOST，一种多方向场景文本检测器，通过三项关键创新提升长文本和多尺度文本实例的定位精度：用于动态感受野自适应的文本特征对齐模块（TFAM）、用于优化检测质量的位置感知非极大值抑制（PA-NMS），以及用于平衡训练的实例级 IoU 损失。该方法在 MLT17、MTWI 和 MSRA-TD500 基准测试中达到最先进性能，推理速度高达 51.8 FPS。

ABSTRACT

Over the past few years, the field of scene text detection has progressed rapidly that modern text detectors are able to hunt text in various challenging scenarios. However, they might still fall short when handling text instances of extreme aspect ratios and varying scales. To tackle such difficulties, we propose in this paper a new algorithm for scene text detection, which puts forward a set of strategies to significantly improve the quality of text localization. Specifically, a Text Feature Alignment Module (TFAM) is proposed to dynamically adjust the receptive fields of features based on initial raw detections; a Position-Aware Non-Maximum Suppression (PA-NMS) module is devised to selectively concentrate on reliable raw detections and exclude unreliable ones; besides, we propose an Instance-wise IoU loss for balanced training to deal with text instances of different scales. An extensive ablation study demonstrates the effectiveness and superiority of the proposed strategies. The resulting text detection system, which integrates the proposed strategies with a leading scene text detector EAST, achieves state-of-the-art or competitive performance on various standard benchmarks for text detection while keeping a fast running speed.

研究动机与目标

• 解决现有检测器在极端长宽比的长文本实例上定位精度较差的问题。
• 提升在尺度变化较大的文本实例上的检测性能。
• 增强单阶段文本检测器在多样化数据集（包括多语言和网络图像）上的鲁棒性与泛化能力。
• 在不牺牲推理速度的前提下，通过轻量化、模块化组件提升检测质量。

提出的方法

• 文本特征对齐模块（TFAM）根据粗略检测预测结果，动态调整特征图的感受野，从而为长文本提供更好的上下文建模能力。
• 位置感知非极大值抑制（PA-NMS）通过关注基于空间位置的可靠预测结果，选择性地合并原始检测结果，减少几何偏差。
• 引入实例级 IoU 损失，以平衡损失函数中每个文本实例的贡献，确保在不同尺度下实现公平优化。
• 该方法与 EAST 检测器集成，采用 ResNet-50-FPN 主干网络，包含分类头、定位分支和位置敏感图预测头。
• 定位分支由粗略定位头、TFAM 和精炼定位头组成，以提升边界框回归性能。
• 整体流程保持简洁高效，实现快速推理的同时维持高精度。

实验结果

研究问题

• RQ1 动态感受野自适应能否提升极端长宽比长文本实例的定位精度？
• RQ2 位置感知抑制能否通过优先选择可靠检测结果来减少 NMS 中的几何偏差？
• RQ3 实例级 IoU 损失是否能提升在不同尺度文本实例上的泛化能力？
• RQ4 所提出的组件能否在不牺牲推理速度的前提下，提升多语言和长文本数据集上的检测性能？

主要发现

• 在 MSRA-TD500 测试集上，MOST 达到 90.4% 的精确率、82.7% 的召回率和 86.4% 的 F-measure，F-measure 相较于先前 SOTA 方法提升 1.5%。
• 在 MLT17 基准测试中，MOST 达到 76.7% 的 F-measure，超越所有对比方法（包括两阶段模型），召回率高出 1.9%。
• 在 MTWI 数据集上，MOST 达到 74.7% 的 F-measure，所有基线方法均低于 1.2% 的差距，展现出对多语言和网络文本的强大泛化能力。
• 在 MLT17 验证集上，该方法实现 51.8 FPS 的快速推理速度，同时保持高精度，且流程简洁。
• 消融实验表明，每个组件——TFAM、PA-NMS 和实例级 IoU 损失——均对性能提升有显著贡献，不同 IoU 阈值下分别实现 4.0% 和 9.5% 的性能提升。
• 所提出的策略具有良好的泛化能力，可轻松扩展至其他单阶段文本检测框架。