[論文レビュー] CDistNet: Perceiving Multi-Domain Character Distance for Robust Text Recognition

Tianlun Zheng, Zhineng Chen+3 more|arXiv (Cornell University)|Nov 22, 2021

Handwritten Text Recognition Techniques参考文献 43被引用数 16

ひとこと要約

CDistNetは、位置埋め込みを用いたクロスアテンション機構を通じて視覚的特徴と意味的特徴を統合的にモデル化するMulti-Domain Character Distance Perception（MDCDP）モジュールを提案する。これにより、極めて歪んだ形状やレアレイアウトのテキストにおいても頑健な文字認識が可能となる。標準的および挑戦的な拡張ベンチマークにおいて最先端の性能を達成し、極めて歪んだテキストでは先行手法を最大18.9%の差で上回る。

ABSTRACT

The Transformer-based encoder-decoder framework is becoming popular in scene text recognition, largely because it naturally integrates recognition clues from both visual and semantic domains. However, recent studies show that the two kinds of clues are not always well registered and therefore, feature and character might be misaligned in difficult text (e.g., with a rare shape). As a result, constraints such as character position are introduced to alleviate this problem. Despite certain success, visual and semantic are still separately modeled and they are merely loosely associated. In this paper, we propose a novel module called Multi-Domain Character Distance Perception (MDCDP) to establish a visually and semantically related position embedding. MDCDP uses the position embedding to query both visual and semantic features following the cross-attention mechanism. The two kinds of clues are fused into the position branch, generating a content-aware embedding that well perceives character spacing and orientation variants, character semantic affinities, and clues tying the two kinds of information. They are summarized as the multi-domain character distance. We develop CDistNet that stacks multiple MDCDPs to guide a gradually precise distance modeling. Thus, the feature-character alignment is well built even various recognition difficulties are presented. We verify CDistNet on ten challenging public datasets and two series of augmented datasets created by ourselves. The experiments demonstrate that CDistNet performs highly competitively. It not only ranks top-tier in standard benchmarks, but also outperforms recent popular methods by obvious margins on real and augmented datasets presenting severe text deformation, poor linguistic support, and rare character layouts. Code is available at https://github.com/simplify23/CDistNet.

研究の動機と目的

• 極めて歪んでもらった、あるいはレアな文字列において、視覚的・意味的ヒントが弱いために生じる特徴と文字の不一致を解消すること。
• 自己回帰的デコード中に位置のヒントが弱まるため、Transformerベースのモデルで生じるアテンションドリフトを克服すること。
• 視覚的・意味的情報のより緊密な統合を通じて、極めて歪んだテキスト、言語的サポートが不足する状況、レアレイアウトに対する耐性を向上させること。
• 極度の認識課題下でも正確なアテンション局在化と特徴のアライメントを維持する手法を開発すること。
• 標準的および新規に作成された極めて困難なデータセットにおいて、最先端のモデルと比較して一般化性能に優れていることを実証すること。

提案手法

• 共有の位置埋め込みを用いて、視覚的特徴と意味的特徴の両方をクロスアテンションで照合する、Multi-Domain Character Distance Perception（MDCDP）モジュールを導入する。
• 視覚的特徴と意味的特徴を統合し、文字間隔、方向性、意味的類似性を符号化するコンテンツに依存した位置表現を生成する。
• 複数のMDCDPモジュールをスタックすることで、デコードステップに応じて段階的かつ細分化されたマルチドメイン文字距離のモデリングを可能にする。
• 二重ブランチのアテンション機構を採用し、位置埋め込みが視覚的特徴と意味的特徴の両方を照合することで、密に結合された表現を生成する。
• 損失誘導計算（図1の点線）を適用し、トレーニング中にアテンション局在化の精錬とアライメントの向上を図る。
• MDCDPモジュールをTransformerベースのエンコーダデコーダフレームワークに統合し、既存の認識パイプラインとの互換性を維持する。

実験結果

リサーチクエスチョン

• RQ1 共有の位置埋め込みを用いて視覚的特徴と意味的特徴を統合的にモデリングすることで、アテンション局在化が向上し、特徴と文字の不一致が軽減されるか？
• RQ2 提案されたMDCDPモジュールは、従来のアテンション機構と比較して、極めて歪んだテキストやレアレイアウトに対して耐性を高められるか？
• RQ3 CDistNetは、標準ベンチマークおよび極度に歪んだ形状を持つ新規に作成された困難なデータセットにおいて、最先端のモデルと比較してどの程度の性能を示すか？
• RQ4 逐次的デコード方式は、並列的デコード方式に比べて困難なテキスト処理において、どの程度優れているか、その理由は何か？
• RQ5 低リソース環境やレアレイアウトの状況において、モデルはより良い意味的利用と視覚的アテンションのアライメントを達成できるか？

主な発見

• CDistNetは6つの標準ベンチマークで最先端の性能を達成し、多様な認識難易度下でも優れた一般化性能を示した。
• HA-IC13およびCA-IC13の拡張データセット（極めて歪んだ形状）において、CDistNetはABINet、VisionLAN、S-GTRを12.7%〜18.9%、8.6%〜10.4%の差で上回った。
• 極めて歪んだテキスト状況（HA6およびCA6）では、他のモデル、特に並列デコード手法が急激に精度を落とす中、CDistNetは頑健な性能を維持した。
• CDistNetで用いられる逐次的デコード方式により、文脈モデリングがより細分化され、HA6ではVisionLANに比べ16.7%、ABINetに比べ12.7%高い精度を達成した。
• 可視化結果から、CDistNetは適切なアテンション局在化と視覚的・意味的情報のバランスの取れた利用を達成していることが確認された。
• 本研究では、一般的に使われる並列デコード手法が極めて歪んだテキストに対して効果を発揮しないことが判明し、実世界の応用において速度と精度の間の重要なトレードオフが浮き彫りになった。