[论文解读] Gaussian Constrained Attention Network for Scene Text Recognition

Zhi Qiao, Xugong Qin+3 more|arXiv (Cornell University)|Oct 19, 2020

Handwritten Text Recognition Techniques参考文献 63被引用 7

一句话总结

本文提出高斯约束注意力网络（GCAN），一种基于2D注意力机制的方法，引入高斯约束精炼模块（GCRM），通过预测高斯掩码显式精炼注意力权重，减少注意力扩散并提升定位精度。GCAN在多个场景文本识别基准上实现最先进性能，且推理开销极低。

ABSTRACT

Scene text recognition has been a hot topic in computer vision. Recent methods adopt the attention mechanism for sequence prediction which achieve convincing results. However, we argue that the existing attention mechanism faces the problem of attention diffusion, in which the model may not focus on a certain character area. In this paper, we propose Gaussian Constrained Attention Network to deal with this problem. It is a 2D attention-based method integrated with a novel Gaussian Constrained Refinement Module, which predicts an additional Gaussian mask to refine the attention weights. Different from adopting an additional supervision on the attention weights simply, our proposed method introduces an explicit refinement. In this way, the attention weights will be more concentrated and the attention-based recognition network achieves better performance. The proposed Gaussian Constrained Refinement Module is flexible and can be applied to existing attention-based methods directly. The experiments on several benchmark datasets demonstrate the effectiveness of our proposed method. Our code has been available at https://github.com/Pay20Y/GCAN.

研究动机与目标

• 为解决场景文本识别中注意力扩散的问题，即注意力权重变得弥散并在解码过程中引入噪声。
• 通过使用可学习的高斯掩码显式精炼原始注意力图，而非依赖间接监督，以提升注意力定位能力。
• 设计一个灵活的模块，可轻松集成到现有的2D注意力识别框架中。
• 通过增强注意力聚焦与对齐能力，提升长文本序列上的性能。

提出的方法

• 高斯约束精炼模块（GCRM）从RNN隐藏状态和一个图像片段特征中预测高斯参数（均值与方差），生成高斯掩码。
• 通过将原始注意力图与预测的高斯掩码进行逐元素相乘，对注意力图进行精炼，从而获得更集中的注意力权重。
• 将精炼后的注意力权重用于生成新的、更准确的图像片段，并将其与原始图像片段融合，用于字符预测。
• GCRM为即插即用模块，可无缝集成到任意2D注意力模型（如SAR）中，无需修改网络架构。
• 采用端到端训练，使用标准交叉熵损失，除标准识别标签外无需额外监督信号。
• 消融实验对比了GCRM与参数估计方法，结果表明学习得到的参数优于最大似然估计方法。

实验结果

研究问题

• RQ1 通过可学习的高斯掩码显式精炼注意力权重，是否能有效减少场景文本识别中的注意力扩散？
• RQ2 所提出的GCRM是否能在不显著增加推理成本的前提下提升识别准确率？
• RQ3 与对注意力权重施加额外监督相比，GCRM在性能增益与鲁棒性方面表现如何？
• RQ4 在注意力机制通常会退化的长文本序列上，该方法是否能保持或提升性能？

主要发现

• GCAN结合GCRM在IIIT5K数据集上达到94.4%的准确率，较基线SAR模型提升1.4个百分点，较SAR加注意力监督模型提升1.3个百分点。
• 在SVT数据集上，GCAN达到90.1%的准确率，较基线SAR提升3.4个百分点，较SAR加注意力监督模型提升2.8个百分点。
• 在SVTP数据集上，GCAN达到81.2%的准确率，较基线模型提升2.1个百分点，较监督SAR模型提升2.4个百分点。
• 该方法在长序列上表现出更优的鲁棒性：错误率随标签长度增加的增长速度慢于基线模型与监督SAR模型。
• GCRM在性能上优于最大似然估计的参数方法，表明学习得到的高斯掩码比估计得到的更有效。
• 推理速度开销极低：训练阶段平均仅增加7.6ms，推理阶段仅增加8.9ms，具备实际部署的可行性。