[论文解读] CDistNet: Perceiving Multi-Domain Character Distance for Robust Text Recognition

Tianlun Zheng, Zhineng Chen+3 more|arXiv (Cornell University)|Nov 22, 2021

Handwritten Text Recognition Techniques参考文献 43被引用 16

一句话总结

CDistNet 提出了一种多领域字符距离感知（MDCDP）模块，通过位置嵌入的交叉注意力机制联合建模视觉与语义特征，实现了在严重形变和罕见布局下的鲁棒文本识别。其在标准和具有挑战性的增强基准上均达到最先进性能，在高度形变文本上的表现优于先前方法高达18.9%。

ABSTRACT

The Transformer-based encoder-decoder framework is becoming popular in scene text recognition, largely because it naturally integrates recognition clues from both visual and semantic domains. However, recent studies show that the two kinds of clues are not always well registered and therefore, feature and character might be misaligned in difficult text (e.g., with a rare shape). As a result, constraints such as character position are introduced to alleviate this problem. Despite certain success, visual and semantic are still separately modeled and they are merely loosely associated. In this paper, we propose a novel module called Multi-Domain Character Distance Perception (MDCDP) to establish a visually and semantically related position embedding. MDCDP uses the position embedding to query both visual and semantic features following the cross-attention mechanism. The two kinds of clues are fused into the position branch, generating a content-aware embedding that well perceives character spacing and orientation variants, character semantic affinities, and clues tying the two kinds of information. They are summarized as the multi-domain character distance. We develop CDistNet that stacks multiple MDCDPs to guide a gradually precise distance modeling. Thus, the feature-character alignment is well built even various recognition difficulties are presented. We verify CDistNet on ten challenging public datasets and two series of augmented datasets created by ourselves. The experiments demonstrate that CDistNet performs highly competitively. It not only ranks top-tier in standard benchmarks, but also outperforms recent popular methods by obvious margins on real and augmented datasets presenting severe text deformation, poor linguistic support, and rare character layouts. Code is available at https://github.com/simplify23/CDistNet.

研究动机与目标

• 解决高度形变或罕见字符序列中因视觉或语义线索微弱而导致的特征-字符错位问题。
• 克服基于 Transformer 的模型在自回归解码过程中因位置线索减弱而导致的注意力漂移问题。
• 通过更紧密地整合视觉与语义信息，提升对严重文本形变、语言支持不足及罕见字符布局的鲁棒性。
• 开发一种方法，在极端识别挑战下仍能保持准确的注意力定位与特征对齐。
• 在标准数据集和新创建的、极具挑战性的数据集上，证明其在泛化能力上优于最先进模型。

提出的方法

• 引入多领域字符距离感知（MDCDP）模块，利用共享位置嵌入通过交叉注意力机制同时查询视觉与语义特征。
• 将视觉与语义特征融合为一种内容感知的位置表征，编码字符间距、方向及语义亲和力。
• 堆叠多个 MDCDP 模块，实现在解码步骤中对多领域字符距离的渐进式、细粒度建模。
• 采用双分支注意力机制，使位置嵌入同时查询视觉与语义特征，生成紧密耦合的表征。
• 应用损失引导计算（图1中虚线所示），在训练过程中优化注意力定位并改善对齐。
• 将 MDCDP 模块集成至基于 Transformer 的编码器-解码器框架中，保持与现有识别流水线的兼容性。

实验结果

研究问题

• RQ1 通过共享位置嵌入联合建模视觉与语义特征，是否能改善注意力定位并减少特征-字符错位？
• RQ2 与传统注意力机制相比，所提出的 MDCDP 模块是否能增强对严重文本形变和罕见字符布局的鲁棒性？
• RQ3 CDistNet 在标准基准和新创建的、具有极端失真的高度挑战性数据集上，相对于最先进模型的表现如何？
• RQ4 在处理困难文本时，序列解码方案为何优于并行解码？其优势程度如何？
• RQ5 在低资源或罕见布局场景下，该模型能否实现更优的语义利用与视觉注意力对齐？

主要发现

• CDistNet 在六个标准基准上达到最先进性能，展现出在多种识别难度下的优越泛化能力。
• 在 HA-IC13 和 CA-IC13 增强数据集（具有严重形变）上，CDistNet 相较于 ABINet、VisionLAN 和 S-GTR 的性能提升分别为 12.7% 至 18.9% 和 8.6% 至 10.4%。
• 在高度形变文本场景（HA6 和 CA6）中，CDistNet 保持了稳健性能，而其他模型（尤其是并行解码方法）则出现显著准确率下降。
• CDistNet 所采用的序列解码方案实现了更细粒度的上下文建模，在 HA6 上较 VisionLAN 提升 16.7%，较 ABINet 提升 12.7%。
• 可视化结果证实，CDistNet 实现了正确的注意力定位，并平衡利用了视觉与语义信息。
• 研究揭示，主流的并行解码方法在高度形变文本上表现无效，凸显了实际应用中速度与准确率之间的关键权衡。