[论文解读] Boosting up Scene Text Detectors with Guided CNN

Xiaoyu Yue, Zhanghui Kuang+5 more|arXiv (Cornell University)|May 10, 2018

Handwritten Text Recognition Techniques被引用 6

一句话总结

本文提出Guided CNN，这是一种通用框架，通过使用轻量级引导子网络预测稀疏掩码，将主检测器的所有计算限制在该掩码区域内，从而提升单阶段场景文本检测器的准确率与速度。该方法在ICDAR 2013上实现最高2.9倍的速度提升，同时F-measure提高1.5%；在ICDAR 2015上实现2.0倍的速度提升，F-measure提升1.0%，在保持高召回率的同时，优于当前最先进方法。

ABSTRACT

Deep CNNs have achieved great success in text detection. Most of existing methods attempt to improve accuracy with sophisticated network design, while paying less attention on speed. In this paper, we propose a general framework for text detection called Guided CNN to achieve the two goals simultaneously. The proposed model consists of one guidance subnetwork, where a guidance mask is learned from the input image itself, and one primary text detector, where every convolution and non-linear operation are conducted only in the guidance mask. On the one hand, the guidance subnetwork filters out non-text regions coarsely, greatly reduces the computation complexity. On the other hand, the primary text detector focuses on distinguishing between text and hard non-text regions and regressing text bounding boxes, achieves a better detection accuracy. A training strategy, called background-aware block-wise random synthesis, is proposed to further boost up the performance. We demonstrate that the proposed Guided CNN is not only effective but also efficient with two state-of-the-art methods, CTPN and EAST, as backbones. On the challenging benchmark ICDAR 2013, it speeds up CTPN by 2.9 times on average, while improving the F-measure by 1.5%. On ICDAR 2015, it speeds up EAST by 2.0 times while improving the F-measure by 1.0%.

研究动机与目标

• 解决现有基于深度CNN的文本检测器因不必要的处理大范围背景区域而导致的效率低下问题。
• 通过聚焦于显著文本区域，提升检测准确率，同时不牺牲速度。
• 设计一种通用、即插即用的框架，兼容现有单前向CNN检测器（如CTPN和EAST）。
• 开发一种训练策略，以增强模型泛化能力与鲁棒性，同时保持计算效率。
• 证明通过学习的引导机制过滤非文本区域，可同时提升速度与准确率。

提出的方法

• 该框架包含一个引导子网络，用于从输入图像中预测一个二值掩码，突出显示可能包含文本的区域。
• 主文本检测器中的所有卷积与非线性运算均仅在引导掩码区域内执行，从而大幅减少计算量。
• 引导子网络中引入使用空洞卷积的上下文模块，以捕捉多尺度上下文信息。
• 提出一种新颖的背景感知式块级随机合成训练策略，用于模拟多样的背景模式，提升模型泛化能力。
• 训练过程中将引导掩码视为可学习的、类似Dropout的动态机制，以增强对背景杂波的鲁棒性。
• 该方法可兼容任意单前向CNN检测器，支持与CTPN和EAST主干网络的即插即用部署。

实验结果

研究问题

• RQ1 轻量级引导网络是否能在不降低准确率的前提下减少文本检测器的计算量？
• RQ2 通过学习的掩码过滤非文本区域，是否能同时提升检测性能与推理速度？
• RQ3 背景感知的数据增强策略是否能提升文本检测中的泛化能力？
• RQ4 所提出的框架是否能有效应用于不同最先进检测器（如CTPN和EAST）？
• RQ5 性能提升是源于对困难负样本的更好聚焦，还是源于更优的特征学习？

主要发现

• 在ICDAR 2013上，Guided CTPN实现2.9倍的速度提升，同时相比原始CTPN的F-measure提高1.5%。
• 在ICDAR 2015上，Guided EAST实现2.0倍的速度提升，F-measure相比原始EAST提高1.0%。
• Guided CTPN+在ICDAR 2013上实现2.8%的F-measure提升，在ICDAR 2015上相比第二好的方法RRPN提升2.3%。
• 尽管过滤掉了90%的图像区域，Guided CTPN仍保持高召回率，表明引导机制具有高效性。
• 引导子网络仅占总推理时间的15%，证实了掩码策略的高效性。
• 背景感知式块级随机合成策略显著提升了模型泛化能力，尤其在复杂背景场景中表现更优。