[論文レビュー] RobustScanner: Dynamically Enhancing Positional Clues for Robust Text Recognition

Xiaoyu Yue, Zhanghui Kuang+3 more|arXiv (Cornell University)|Jul 15, 2020

Handwritten Text Recognition Techniques参考文献 54被引用数 13

ひとこと要約

RobustScannerは、文脈のないテキストにおける位置情報の手がかりを強化することで、注意メカニズムに基づくシーンテキスト認識の耐性を向上させる動的融合機構を提案する。文脈と位置情報を適応的に融合するための位置に敏感なモジュールと学習可能なゲートを導入することで、通常および不規則なベンチマークで最先端の性能を達成するとともに、ランダムな文字列のような文脈のないシーケンスにおいても高い正確性を維持する。

ABSTRACT

The attention-based encoder-decoder framework has recently achieved impressive results for scene text recognition, and many variants have emerged with improvements in recognition quality. However, it performs poorly on contextless texts (e.g., random character sequences) which is unacceptable in most of real application scenarios. In this paper, we first deeply investigate the decoding process of the decoder. We empirically find that a representative character-level sequence decoder utilizes not only context information but also positional information. Contextual information, which the existing approaches heavily rely on, causes the problem of attention drift. To suppress such side-effect, we propose a novel position enhancement branch, and dynamically fuse its outputs with those of the decoder attention module for scene text recognition. Specifically, it contains a position aware module to enable the encoder to output feature vectors encoding their own spatial positions, and an attention module to estimate glimpses using the positional clue (i.e., the current decoding time step) only. The dynamic fusion is conducted for more robust feature via an element-wise gate mechanism. Theoretically, our proposed method, dubbed \emph{RobustScanner}, decodes individual characters with dynamic ratio between context and positional clues, and utilizes more positional ones when the decoding sequences with scarce context, and thus is robust and practical. Empirically, it has achieved new state-of-the-art results on popular regular and irregular text recognition benchmarks while without much performance drop on contextless benchmarks, validating its robustness in both contextual and contextless application scenarios.

研究の動機と目的

• 文脈のないテキスト（たとえばランダムな文字列）に対して、注意メカニズムに基づくシーンテキスト認識モデルの性能が著しく低下する問題を解決すること。
• 特に文脈情報が位置情報よりも優勢になることで生じる注意のずれ（attention drift）が原因で、文脈のない状況で誤認識が生じる根本的要因を解明すること。
• デコーダーにおける位置認識の強化を図ることで、文脈のあるシーケンスの性能を損なわせることなく、耐性を向上させること。
• シーケンスの文脈に応じて、文脈と位置の手がかりを適応的にバランスさせる動的融合機構を設計すること。

提案手法

• 現在のデコーディングステップの時刻のみを位置情報として用いる独立した位置強化ブランチを導入し、視認の手がかりを推定する。
• エンコーダー特徴マップに空間的な位置符号化を組み込む位置に敏感なモジュールを採用し、位置表現を強化する。
• 位置情報（時刻）とエンコーダー特徴に基づいてのみ、視認の手がかりを計算する注意モジュールを位置強化ブランチに適用する。
• 各デコーディングステップで、従来のデコーダーと位置強化ブランチから得られる視認ベクトルを、学習可能な要素ごとのゲート機構を用いて動的に融合する。
• ゲートは文脈と位置情報の間の動的比率を学習し、文脈が不足している場合には位置情報を優先する。
• 文字レベルの認識において交差エントロピー損失を用いて、エンドツーエンドでモデルを訓練し、正確性と耐性の両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 なぜ注意メカニズムに基づくシーンテキスト認識モデルは、文脈のあるベンチマークでは優れた性能を示す一方で、文脈のないテキストシーケンスでは失敗するのか？
• RQ2 デコーダー内のクエリ特徴ベクトルがどの程度位置情報を符号化しているのか、また、デコーディングのステップが進むにつれてその性質はどのように変化するのか？
• RQ3 専用のブランチを用いて位置情報の手がかりを強化することで、文脈のないシーケンスにおける認識の耐性が向上するか、かつ文脈のあるシーケンスの性能が低下しないか？
• RQ4 動的融合手法（文脈と位置の手がかりを段階的に融合）は、加算や連結といった静的融合手法と比べて、どのような差異を示すのか？

主な発見

• RobustScannerは、IIIT-5Kで95.3%、SVTで88.1%、ICDAR 2013で94.8%、ICDAR 2015で77.1%、SVTPで79.5%、CUTE 80で90.3%の最先端の正確性を達成した。
• ランダム文字列から構成される合成されたRandTextベンチマークでは、RobustScannerは83.4%の正確性を達成し、SAR（59.6%）や他のベースラインを大きく上回った。
• 動的融合モジュールは、すべてのベンチマークで静的融合手法（加算および連結）を上回り、特に文脈的に困難なデータセットで顕著な向上を示した。
• アブレーションスタディの結果、位置に敏感なモジュールが不可欠であることが確認され、サイン・コサインの位置符号化に置き換えた場合、主要なベンチマークで3〜5%の正確性低下が生じた。
• 深刻な分布外のテストセットを用いたナンバープレート認識タスクでは、RobustScannerは55.7%の正確性を達成し、SAR（29.9%）、DAN（51.1%）、Wang et al.（46.4%）を上回った。
• 本手法は、標準的なベンチマークで最先端の性能を達成するとともに、文脈のないデータに対しても高い性能を維持しており、文脈ありおよび文脈なしの両状況において耐性があることを実証した。