[論文レビュー] Multi-Granularity Prediction with Learnable Fusion for Scene Text Recognition

Cheng Da, Peng Wang+1 more|arXiv (Cornell University)|Jul 25, 2023

Handwritten Text Recognition Techniques被引用数 4

ひとこと要約

この論文は、明示的な言語モデルを用いずに、多スケール予測（文字、BPE、WordPieceのサブワード表現の統合）を通じて性能を向上させる、ビジョントランスフォーマーに基づくシーンテキスト認識モデルMGP-STRを提案する。学習可能で統合戦略（LFS）は、予測されたテキストと画像特徴間のクロスモーダル類似度を測定し、IIIT-5K、ICDAR 2015、SVT、CUTEといった標準ベンチマークで94%の最先端の正確性を達成した。

ABSTRACT

Due to the enormous technical challenges and wide range of applications, scene text recognition (STR) has been an active research topic in computer vision for years. To tackle this tough problem, numerous innovative methods have been successively proposed, and incorporating linguistic knowledge into STR models has recently become a prominent trend. In this work, we first draw inspiration from the recent progress in Vision Transformer (ViT) to construct a conceptually simple yet functionally powerful vision STR model, which is built upon ViT and a tailored Adaptive Addressing and Aggregation (A$^3$) module. It already outperforms most previous state-of-the-art models for scene text recognition, including both pure vision models and language-augmented methods. To integrate linguistic knowledge, we further propose a Multi-Granularity Prediction strategy to inject information from the language modality into the model in an implicit way, \ie, subword representations (BPE and WordPiece) widely used in NLP are introduced into the output space, in addition to the conventional character level representation, while no independent language model (LM) is adopted. To produce the final recognition results, two strategies for effectively fusing the multi-granularity predictions are devised. The resultant algorithm (termed MGP-STR) is able to push the performance envelope of STR to an even higher level. Specifically, MGP-STR achieves an average recognition accuracy of $94\%$ on standard benchmarks for scene text recognition. Moreover, it also achieves state-of-the-art results on widely-used handwritten benchmarks as well as more challenging scene text datasets, demonstrating the generality of the proposed MGP-STR algorithm. The source code and models will be available at: \url{https://github.com/AlibabaResearch/AdvancedLiterateMachinery/tree/main/OCR/MGP-STR}.

研究の動機と目的

• 明示的な別個の言語モデルに依存せずに、言語的知識を暗黙的に統合することにより、シーンテキスト認識（STR）の性能を向上させること。
• 文字レベルのみの予測の限界を克服するため、ノイズや変形に強い耐性を高めるために、サブワードレベルの表現（BPEおよびWordPiece）を導入すること。
• 画像-テキスト類似度に基づいて動的に多スケール予測を統合する学習可能な統合機構を設計し、最終的な認識正確性を向上させること。
• ビジョントランスフォーマーに基づく純粋なビジョンSTRモデルと、適応的アテンションモジュール（A3）を設計し、既存の純粋ビジョンおよび言語拡張手法を上回ること。
• 反復的精錬を回避することで高速な推論を実現しながら、多様なベンチマークで最先端の性能を達成すること、特に実世界および手書きテキストデータセットを含む。

提案手法

• ビジョントランスフォーマー（ViT）に基づく純粋ビジョンSTRモデルを構築し、特徴表現を向上させるために、特化した適応的アドレス指定と集約（A3）モジュールを統合する。
• 出力空間を拡張して、文字レベル、BPEレベル、WordPieceレベルの予測を含める多スケール予測（MGP）を導入し、外部言語モデルを用いずにマルチタスク学習を可能にする。
• 各ブランチからの信頼度スコアを用いて予測を統合する信頼度ベース統合戦略（CFS）を採用し、シンプルでありながら効果的な統合メカニズムを提供する。
• 予測されたテキストと画像特徴間のクロスモーダル類似度を計算するトレーニング可能なモジュールを用いる学習可能統合戦略（LFS）を提案し、CLIPにインspiredして、文脈に応じた動的で適応的な統合を可能にする。
• 文字、BPE、WordPiece予測のための3つの別個の損失関数を用いて、エンドツーエンドで学習し、マルチタスク最適化を通じて言語的事前知識を暗黙的に学習可能にする。
• Image A3モジュールを用いて、注目すべきテキスト領域を強調するスパarsなアテンションベースの特徴マップを生成し、LFSにおける画像-テキストマッチングのためのグローバルプーリング機構として機能させる。

実験結果

リサーチクエスチョン

• RQ1 サブワード表現（BPEおよびWordPiece）を統合する多スケール予測は、明示的な言語モデルを用いずに、シーンテキスト認識の性能を向上させることができるか？
• RQ2 画像-テキスト類似度に基づく学習可能統合と信頼度ベース統合の間で、認識正確性および耐性性にどのような差が生じるか？
• RQ3 提案されたMGP-STRモデルは、標準的、手書き、および困難な実世界のシーンテキストデータセットを含む多様なベンチマークにどの程度一般化可能か？
• RQ4 MGP-STRにおける反復的精錬の欠如は、先行手法と比較して、最先端の正確性を維持しながら推論を高速化する要因となるか？
• RQ5 多スケール予測による言語の構成的性質を活用することで、モデルの性能をさらに向上させることができるか？

主な発見

• 学習可能統合戦略（LFS）を備えたMGP-STRは、IIIT-5K、ICDAR 2015、SVT、CUTEを含む標準シーンテキストベンチマークで平均94%の最先端の認識正確性を達成した。
• 明示的な言語モデルを搭載していないにもかかわらず、純粋ビジョンおよび言語拡張STR手法を上回り、暗黙的な言語的知識統合の有効性を示した。
• 学習可能統合戦略（LFS）は信頼度ベース統合（CFS）を著しく上回る性能を発揮し、類似度に基づく統合が予測テキストと視覚的特徴をより適切に一致させることを示した。
• MGP-STRモデルは、手書きテキストベンチマーク（IAM、CVL、RIMES）でも最先端の結果を達成し、草書体および低品質テキストへの強い一般化能力を示した。
• ArT、COCO-Text、Uber-Textといった困難なデータセットでもSOTA性能を達成し、複雑な実世界シナリオに対する強靭性を確認した。
• Image A3モジュールからのアテンションマップはスパースであるが、関連するテキスト領域に集中しており、このモジュールが画像-テキストマッチングのための効果的なグローバルプーリング機構として機能していることを示した。