[论文解读] MSR: Multi-Scale Shape Regression for Scene Text Detection

Chuhui Xue, Shijian Lu+1 more|arXiv (Cornell University)|Jan 9, 2019

Handwritten Text Recognition Techniques参考文献 42被引用 12

一句话总结

本文提出 MSR，一种用于场景文本检测的多尺度形状回归网络，通过预测密集边界点而非四边形顶点，实现对不同长度和方向的直线与曲线文本行的精确定位。通过回归到最近的边界点并融合多尺度特征，MSR 在多个基准测试中达到最先进性能，在 CTW1500 上相比基线模型 f-score 提升 21.1 分，且在 ICDAR2015 和 MSRA-TD500 上表现更优。

ABSTRACT

State-of-the-art scene text detection techniques predict quadrilateral boxes that are prone to localization errors while dealing with straight or curved text lines of different orientations and lengths in scenes. This paper presents a novel multi-scale shape regression network (MSR) that is capable of locating text lines of different lengths, shapes and curvatures in scenes. The proposed MSR detects scene texts by predicting dense text boundary points that inherently capture the location and shape of text lines accurately and are also more tolerant to the variation of text line length as compared with the state of the arts using proposals or segmentation. Additionally, the multi-scale network extracts and fuses features at different scales which demonstrates superb tolerance to the text scale variation. Extensive experiments over several public datasets show that the proposed MSR obtains superior detection performance for both curved and straight text lines of different lengths and orientations.

研究动机与目标

• 解决基于四边形的检测方法在定位长文本、曲线文本或倾斜文本行时因回归误差过高而导致的不准确问题。
• 克服场景文本中存在极大尺度差异的问题，即超小或超大文本常被遗漏或部分检测。
• 通过用边界点回归替代顶点预测，提升对文本形状多样性（尤其是曲线和非规则方向）的鲁棒性。
• 设计一种多尺度网络，融合跨尺度特征，以增强在不同文本尺寸下的检测性能。
• 开发一个端到端可训练的系统，实现对多样化数据集中直线与曲线文本行的更高检测精度。

提出的方法

• 提出一种形状回归模块，将每个文本像素回归到最近的边界点，生成密集边界点以实现精确的文本定位。
• 通过连接所有预测的边界点形成凹多边形，表示完整的文本实例，从而实现灵活的形状建模。
• 引入具有并行分支的多尺度网络，以提取和融合不同感受野尺度的特征，提升对尺度变化的鲁棒性。
• 采用多尺度特征融合策略，结合跨尺度的低层与高层特征，增强对小尺寸和大尺寸文本实例的检测能力。
• 使用包含边界点回归损失和形状一致性损失的联合损失函数，对整个网络进行端到端训练。
• 将 EAST 框架作为基线模型，并通过引入多尺度架构和形状回归模块进行扩展，实现直接比较与消融实验。

实验结果

研究问题

• RQ1 与四边形顶点预测相比，密集边界点回归是否能有效降低长文本或曲线文本行的定位误差？
• RQ2 多尺度特征融合在应对文本尺寸大幅变化时，是否能显著提升检测性能？
• RQ3 将形状回归与多尺度架构结合，是否能在多样化的场景文本数据集中实现一致的性能提升？
• RQ4 所提方法是否能在检测直线与曲线文本行方面，相比依赖四边形框的最先进方法实现更高精度？
• RQ5 多尺度网络与形状回归模块各自对整体检测性能的贡献如何？

主要发现

• 在 CTW1500 上，所提 MSR 方法 f-score 达到 81.5，相比基线模型 EAST（60.4）提升 21.1 分，显著证明了多尺度与形状回归组件联合使用的有效性。
• 在 MSRA-TD500 上，MSR 达到最先进 f-score，甚至优于专门设计的 TextSnake 等方法，最高提升达 3.4 分，尤其在检测曲线和长文本行方面表现突出。
• 消融实验表明，仅使用形状回归可使 f-score 提升 17.0 分，仅使用多尺度结构可提升 6.9 分，两者结合时获得最高性能增益。
• 在 CTW1500 上，MSR 展现出优异的召回率（78.3%）与精确率（85.0%），表明其在检测小尺寸与大尺寸文本实例方面均表现强劲。
• 在 ICDAR2015 上，MSR 在单尺度测试中展现出具有竞争力的精度与速度，证明其在包含直线与多方向文本行的数据集上具有广泛适用性。
• 可视化结果表明，与基线模型及其他最先进方法相比，MSR 显著减少了长文本或曲线文本行的断裂与漏检现象。