[論文レビュー] Visual-Semantic Transformer for Scene Text Recognition

Xin Tang, Yongquan Lai+3 more|arXiv (Cornell University)|Dec 2, 2021

Handwritten Text Recognition Techniques参考文献 55被引用数 11

ひとこと要約

本稿では、重み共有の視覚的・意味的アライメントモジュールとマルチヘッド自己注意機構を介して、視覚的および意味的特徴を統合的に学習する、エンドツーエンドのシーンテキスト認識モデルであるVisual-Semantic Transformer (VST) を提案する。トランスフォーマーに基づく相互作用モジュールを通じて、視覚的特徴と意味的情報を明示的に抽出・統合することで、VST は7つの公開ベンチマークのうち4つで最先端の性能を達成し、外部言語モデルに依存せず、かつより高速な推論を実現した。

ABSTRACT

Modeling semantic information is helpful for scene text recognition. In this work, we propose to model semantic and visual information jointly with a Visual-Semantic Transformer (VST). The VST first explicitly extracts primary semantic information from visual feature maps with a transformer module and a primary visual-semantic alignment module. The semantic information is then joined with the visual feature maps (viewed as a sequence) to form a pseudo multi-domain sequence combining visual and semantic information, which is subsequently fed into an transformer-based interaction module to enable learning of interactions between visual and semantic features. In this way, the visual features can be enhanced by the semantic information and vice versus. The enhanced version of visual features are further decoded by a secondary visual-semantic alignment module which shares weights with the primary one. Finally, the decoded visual features and the enhanced semantic features are jointly processed by the third transformer module obtaining the final text prediction. Experiments on seven public benchmarks including regular/ irregular text recognition datasets verifies the effectiveness our proposed model, reaching state of the art on four of the seven benchmarks.

研究の動機と目的

• 視覚的特徴のみでは不十分な、複雑で劣化している、または不規則な状態のシーンテキストを認識する課題に対処すること。
• 外部言語モデルや語彙リストに依存せずに、意味的文脈を明示的にモデル化することで認識精度を向上させること。
• 統一的でエンドツーエンドで学習可能なトランスフォーマーアーキテクチャを用いて、効果的な視覚的・意味的特徴の相互作用を実現すること。
• CTCベースや自己回帰型モデルと比較して、非自己回帰的かつ並列的デコードを実現し、推論速度を向上させること。

提案手法

• モデルは、切り出し済みのシーン画像から初期の視覚的特徴を抽出するためにConvNetを使用する。
• 主な視覚的・意味的アライメントモジュールは、トランスフォーマーに基づくモジュールを用いて、視覚的特徴マップから意味的特徴を抽出する。
• 意味的特徴と視覚的特徴が擬似マルチドメインシーケンスに連結され、トランスフォーマー相互作用モジュールに供給され、クロスモダリティ注意と特徴強化が可能になる。
• 主なモジュールと重みを共有する二次的な視覚的・意味的アライメントモジュールが、強化された視覚的特徴をデコードする。
• 最終的な強化された視覚的特徴と意味的特徴は、第三のトランスフォーマー・モジュールとソフトマックス層によって共同処理され、エンドツーエンドのテキスト予測が行われる。
• モデルはオンラインデータオーグメンテーションを採用し、クラスバランスの取れたサンプリングを用いて、複数のデータセット混合（ST, MJ, SA）でAdam最適化アルゴリズムで訓練される。

実験結果

リサーチクエスチョン

• RQ1 明示的な意味的特徴学習は、低品質または不規則なテキスト状況下でのシーンテキスト認識性能を向上させるか？
• RQ2 マルチヘッド自己注意機構による視覚的・意味的相互作用は、視覚的および意味的表現の両方を効果的に強化するか？
• RQ3 統一的で非自己回帰型のトランスフォーマー・モデルは、自己回帰型やCTCベースのモデルと比較して、速度と精度の両面で優れているか？
• RQ4 視覚的・意味的アライメントモジュール間での重み共有は、特徴アライメントと一般化性能を向上させるか？
• RQ5 外部事前学習済み言語モデルに依存するSOTAモデルと比較して、本手法はどのように性能を発揮するか？

主な発見

• VST-B および VST-F は、7つの公開ベンチマークのうち4つで最先端の性能を達成し、IC03（+0.8%）および CUTE（+2.8%）で顕著な改善を示した。
• 複雑な事前学習済み言語モデルを用いる最近のSOTA手法を上回りながら、推論速度は約3倍速くなった。
• アブレーションスタディの結果、特に視覚的・意味的アライメントモジュールおよび相互作用モジュールが、性能向上に顕著な寄与をしていることが確認された。
• 注意ヒートマップの可視化により、相互作用モジュールが、予測された文字に対応する関連領域を的確に注目していることが確認された。
• 図5に示される成功事例の可視化から、本モデルは困難で不規則的・歪みのあるテキストに対しても強力な一般化性能を示した。
• 各モジュールの追加による性能向上は一貫しており、各段階的な構成が認識精度を向上させることから、モジュラー設計の有効性が裏付けられた。