[论文解读] Joint Visual Semantic Reasoning: Multi-Stage Decoder for Text Recognition

Ayan Kumar Bhunia, Aneeshan Sain+4 more|arXiv (Cornell University)|Jul 26, 2021

Multimodal Machine Learning Applications参考文献 63被引用 4

一句话总结

本文提出一种多阶段、多尺度注意力解码器用于文本识别，通过整合联合视觉-语义推理，提升仅依赖视觉的模型性能。通过分阶段展开预测，并利用直通Gumbel-Softmax实现端到端训练，即使在离散字符预测的情况下也能反向传播梯度。该模型利用上下文语义信息对初始视觉估计进行精细化调整，在IC15数据集上达到84.0%的WRA，显著优于现有最先进方法。

ABSTRACT

Although text recognition has significantly evolved over the years, state-of-the-art (SOTA) models still struggle in the wild scenarios due to complex backgrounds, varying fonts, uncontrolled illuminations, distortions and other artefacts. This is because such models solely depend on visual information for text recognition, thus lacking semantic reasoning capabilities. In this paper, we argue that semantic information offers a complementary role in addition to visual only. More specifically, we additionally utilize semantic information by proposing a multi-stage multi-scale attentional decoder that performs joint visual-semantic reasoning. Our novelty lies in the intuition that for text recognition, the prediction should be refined in a stage-wise manner. Therefore our key contribution is in designing a stage-wise unrolling attentional decoder where non-differentiability, invoked by discretely predicted character labels, needs to be bypassed for end-to-end training. While the first stage predicts using visual features, subsequent stages refine on top of it using joint visual-semantic information. Additionally, we introduce multi-scale 2D attention along with dense and residual connections between different stages to deal with varying scales of character sizes, for better performance and faster convergence during training. Experimental results show our approach to outperform existing SOTA methods by a considerable margin.

研究动机与目标

• 解决当前最先进的文本识别模型仅依赖视觉特征、在扭曲、噪声或低光照等复杂场景下表现不佳的问题。
• 通过在多个阶段中迭代优化预测，结合视觉与语义上下文，实现在文本识别中的联合视觉-语义推理。
• 克服多阶段设置中由离散字符预测引入的不可微问题，实现跨阶段的端到端训练与梯度传播。
• 通过阶段式优化与多尺度注意力机制引入全局语义上下文，提升无约束场景下文本识别的鲁棒性与准确性。

提出的方法

• 提出一种多阶段展开的注意力解码器，第一阶段仅基于视觉特征进行预测，后续阶段则利用联合视觉-语义信息对预测结果进行优化。
• 采用直通Gumbel-Softmax操作符绕过训练过程中argmax的不可微性，实现对离散标记预测的反向传播。
• 使用多尺度2D卷积注意力机制，以适应不同大小的字符，并提升跨尺度的特征对齐能力。
• 在各阶段之间引入密集连接与残差连接，以稳定训练过程并加速收敛。
• 基于LSTM或Transformer的多头自注意力机制构建视觉-语义推理模块，以建模长距离依赖关系，并通过语义上下文增强特征表示。
• 采用类似BERT的预训练架构作为语义推理模块，以提升全局语义理解能力。

Figure 1 : Compared to existing attentional decoder architectures [ 53 , 33 ] , we design a novel multi-scale attention decoder for text recognition which is unpacked in a stage-wise manner . The problem of non-differentiability, due to discrete-character prediction is bypassed via straight-through

实验结果

研究问题

• RQ1 在仅依赖视觉特征已不足以应对的复杂、无约束场景中，联合视觉-语义推理能否显著提升文本识别性能？
• RQ2 如何在端到端可微的框架下，通过多阶段解码机制有效利用视觉与语义上下文对预测进行优化？
• RQ3 多阶段优化的最优阶段数是多少？其对模型性能与收敛性有何影响？
• RQ4 引入多尺度注意力机制与残差连接在多大程度上提升了文本识别的鲁棒性与准确性？
• RQ5 对语义推理模块进行预训练在多大程度上提升了整体识别性能？

主要发现

• 所提出的多阶段解码器在IC15数据集上达到84.0%的词识别准确率（WRA），显著优于此前的SOTA方法。
• 当分类头与优化头使用独立权重，但共享编码器与语义推理模块时，性能提升1.7%，表明参数共享策略达到最优。
• 最优阶段数为两阶段，三阶段时性能趋于饱和，可能由于梯度消失或语义上下文利用效率下降所致。
• 即使在低数据设置下，模型仍表现优异，仅使用100万训练样本时达到73.1% WRA，优于基线模型与先前SOTA方法。
• 采用预训练的Transformer-based视觉-语义推理模块可实现84.0% WRA，相比LSTM版本提升0.9%，相比未预训练的Transformer基线提升1.3%。
• 计算成本从基线的15.3 GFLOPs提升至22.5 GFLOPs，但这一增加被显著的性能提升所抵消，尤其相较于简单堆叠更深网络的方法更具优势。

Figure 2 : With the extracted context-rich holistic feature ( $h_{L}$ ) and multi-scale feature maps ( $B_{L},B_{L-1},B_{L-2}$ ), a multi-stage attentional decoder predicts the character sequences in consecutive stages. Once the previous stage’s decoder completely unrolls itself across time , the cu