[論文レビュー] CLIP4STR: A Simple Baseline for Scene Text Recognition with Pre-trained Vision-Language Model

Shuai Zhao, Ruijie Quan+2 more|arXiv (Cornell University)|May 23, 2023

Multimodal Machine Learning Applications参考文献 98被引用数 6

ひとこと要約

CLIP4STRは、強力なバックボーンとしてCLIPの事前学習済みビジョン・ランゲージモデルを活用する、シンプルでありながら効果的なシーンテキスト認識（STR）フレームワークを提案する。二重ブランチアーキテクチャを採用し、視覚ブランチで初期予測を生成し、クロスモーダルブランチでアテンションを用いた意味的精緻化を実行することで、11のSTRベンチマーク（特に困難な不規則なテキストシナリオを含む）で最先端の性能を達成した。

ABSTRACT

Pre-trained vision-language models~(VLMs) are the de-facto foundation models for various downstream tasks. However, scene text recognition methods still prefer backbones pre-trained on a single modality, namely, the visual modality, despite the potential of VLMs to serve as powerful scene text readers. For example, CLIP can robustly identify regular (horizontal) and irregular (rotated, curved, blurred, or occluded) text in images. With such merits, we transform CLIP into a scene text reader and introduce CLIP4STR, a simple yet effective STR method built upon image and text encoders of CLIP. It has two encoder-decoder branches: a visual branch and a cross-modal branch. The visual branch provides an initial prediction based on the visual feature, and the cross-modal branch refines this prediction by addressing the discrepancy between the visual feature and text semantics. To fully leverage the capabilities of both branches, we design a dual predict-and-refine decoding scheme for inference. We scale CLIP4STR in terms of the model size, pre-training data, and training data, achieving state-of-the-art performance on 13 STR benchmarks. Additionally, a comprehensive empirical study is provided to enhance the understanding of the adaptation of CLIP to STR. Our method establishes a simple yet strong baseline for future STR research with VLMs.

研究の動機と目的

• 単一モodalの事前学習に依存する分野であるにもかかわらず、CLIP（事前学習済みビジョン・ランゲージモデル）がシーンテキスト認識（STR）の強力なバックボーンとして機能できるかどうかを調査すること。
• 複雑で不規則なシーンにおけるテキスト認識の強さを示すにもかかわらず、ビジョン・ランゲージモデル（VLM）がSTR研究で十分に活用されていないというギャップを解消すること。
• 特に回転、曲がり、ぼやけ、隠蔽などの困難なテキスト変種に対応するための、視覚・ランゲージ事前学習を活用したシンプルでありながら強力なベースラインを今後のSTR研究に確立すること。
• CLIPがSTRにどのように適応するかを実証的に調査し、不規則なテキストに対するその優れた性能の背後にあるメカニズムを理解すること。

提案手法

• CLIP4STRは二重エンコーダー・デコーダー構造を採用：視覚ブランチはCLIPの画像およびテキストエンコーダーを用いて初期予測を生成し、クロスモーダルブランチは視覚特徴とテキスト意味の整合性を用いて予測を精緻化する。
• 視覚ブランチは画像エンコーダーと順列を任意の順序でモデル化するための変換器デコーダーを用いて、初期のシーケンス予測を生成する。
• クロスモーダルブランチは、視覚的曖昧性に起因する誤りを補正する意味的注意に特化したスペルチェッカーとして機能する。
• 推論のために二重の予測・精緻化デコーディング方式を設計：視覚ブランチが最初の予測を提供し、その後、文脈に配慮したデコーディング戦略を用いてクロスモーダルブランチが繰り返し予測を精緻化する。
• 推論プロセスにおける式（9）は、反復的クロスモーダルデコーディングを、視覚ブランチの予測からの直接的な文脈インジェクションに置き換えることで、計算量を削減しつつ精度の低下を最小限に抑える。
• ビジョン・ランゲージ整合性ヘッドの微調整を一切行わず、CLIPの事前学習済み画像およびテキストエンコーダーをそのままで利用することで、ゼロショット一般化能力を保持する。

実験結果

リサーチクエスチョン

• RQ1 CLIPは、画像・テキストペairで事前学習されているが、微調整なしでシーンテキスト認識のバックボーンとして効果的に機能できるか？
• RQ2 CLIPのビジョン・ランゲージ事前学習は、単一モダリティモデルと比較して、回転、曲がり、ぼやけ、隠蔽などの不規則なテキストの認識をどのように強化するか？
• RQ3 クロスモーダルブランチが予測を精緻化する貢献度は何か？また、視覚的曖昧性を処理するにあたり、視覚ブランチと比較してどの程度優れているか？
• RQ4 より大きなCLIPバージョン（例：ViT-L）や複数回の精緻化イテレーションを用いる場合、推論速度と精度のトレードオフはどのようになるか？
• RQ5 修正済みアノテーションを用いたクリーンなベンチマークにおいて、CLIP4STRはどの程度の性能を示すか？また、データ修正後も最先端性能を維持できるか？

主な発見

• CLIP4STRは、IC15、SVTP、CUTE、HOSTを含む11のSTRベンチマークで最先端の性能を達成し、標準評価下でIC15では94.1%、CUTEでは99.3%の精度を記録した。
• クロスモーダルブランチは、視覚ブランチ単体よりも最大1.1%の精度向上を達成し、視覚的曖昧性および意味的不一致の補正効果を実証した。
• ViT-Lをバックボーンとして使用すると、9ベンチマーク平均で91.9%の精度に向上した（表VIII）、一方でA100 GPU上での1サンプルあたりの推論時間は6.52ms増加した。
• 1回の精緻化イテレーションを用いた二重デコーディング方式が最適なトレードオフを達成しており、1回を超えてイテレーションを増やしても精度の向上は見られなかった。
• クリーンなベンチマークでは、CLIP4STRはSOTA結果を維持し、IIIT5Kでは99.4%、CUTEでは99.0%の精度を達成した。これは、正例修正後でも堅牢性を保つことを確認した。
• クローズ・フィリングデコーディングの変種は、推論時間をViT-B、1イテレーションで3.41msに短縮しつつも高い精度を維持した。これは、リアルタイム応用における実用的妥当性を示している。