[论文解读] ABCNet: Real-time Scene Text Spotting with Adaptive Bezier-Curve Network

Yuliang Liu, Hao Chen+4 more|arXiv (Cornell University)|Feb 24, 2020

Handwritten Text Recognition Techniques参考文献 44被引用 37

一句话总结

ABCNet 引入一个实时端到端框架，使用自适应贝塞尔曲线来表示任意形状文本，使用 BezierAlign 进行精确特征采样，并在 Total-Text 和 CTW1500 上实现实时速度的同时达到最先进的准确度。

ABSTRACT

Scene text detection and recognition has received increasing research attention. Existing methods can be roughly categorized into two groups: character-based and segmentation-based. These methods either are costly for character annotation or need to maintain a complex pipeline, which is often not suitable for real-time applications. Here we address the problem by proposing the Adaptive Bezier-Curve Network (ABCNet). Our contributions are three-fold: 1) For the first time, we adaptively fit arbitrarily-shaped text by a parameterized Bezier curve. 2) We design a novel BezierAlign layer for extracting accurate convolution features of a text instance with arbitrary shapes, significantly improving the precision compared with previous methods. 3) Compared with standard bounding box detection, our Bezier curve detection introduces negligible computation overhead, resulting in superiority of our method in both efficiency and accuracy. Experiments on arbitrarily-shaped benchmark datasets, namely Total-Text and CTW1500, demonstrate that ABCNet achieves state-of-the-art accuracy, meanwhile significantly improving the speed. In particular, on Total-Text, our realtime version is over 10 times faster than recent state-of-the-art methods with a competitive recognition accuracy. Code is available at https://tinyurl.com/AdelaiDet

研究动机与目标

• 促进对任意形状场景文本的高效端到端检测。
• 提出一种紧凑的贝塞尔曲线表示，以最小开销拟合曲线文本。
• 引入 BezierAlign，实现对特征的精确采样，从而支持轻量级的识别分支。
• 在 Total-Text 与 CTW1500 上展示实时性能，同时具备具竞争力或更优的准确性。
• 提供贝塞尔曲线合成数据集，以增强对不规则文本形态的训练。

提出的方法

• 通过八个控制点回归，用三次贝塞尔曲线表示曲线场景文本。
• 使用最小二乘拟合从多边形注释生成贝塞尔曲线真实标签。
• 引入 BezierAlign，一种非矩形采样层，将特征沿贝塞尔曲线边界对齐以实现鲁棒识别。
• 使用通过 BezierAlign 特征连接的轻量级识别分支（CNN + BiLSTM），并使用 CTC 损失。
• 在合成数据和真实数据上进行端到端训练，贝塞尔曲线真实标签引导端到端 RoI 特征提取。

实验结果

研究问题

• RQ1 在单阶段检测器中，三次贝塞尔曲线是否能准确表示定向或曲线文本？
• RQ2 BezierAlign 是否在不增加显著计算开销的情况下提升任意形状文本的端到端识别精度？
• RQ3 BezierAlign 的采样点密度与端到端性能和速度之间的权衡是什么？
• RQ4 与以往方法相比，ABCNet 在 Total-Text 和 CTW1500 上的端到端检测表现如何？

主要发现

• ABCNet 在 Total-Text 和 CTW1500 上实现了端到端文本识别的最新水平，同时支持实时推理。
• BezierAlign 在显著提高识别性能方面优于水平采样或四边形采样，同时几乎不增加额外开销。
• 与标准边界框检测相比，贝塞尔曲线检测几乎不增加额外计算。
• 在 Total-Text 上，实时单尺度版本比最近的 SOTA 方法快超过 10 倍，且准确度具有竞争力。
• ABCNet 的变体（F、MS）展现出有利的速度-精度权衡，BezierAlign 推动了显著的端到端提升。