[論文レビュー] PreSTU: Pre-Training for Scene-Text Understanding

Jihyung Kil, Soravit Changpinyo+5 more|arXiv (Cornell University)|Sep 12, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

PreSTUは、画像ピクセルから直接OCRに配慮した目的関数を組み込むことで、視覚・言語モデルの性能を向上させる、シーンテキスト理解（STU）のための新しい事前学習手法を提案する。市販のOCRを用いて大規模な画像・テキストデータで訓練することで、TextVQAで10%以上の絶対的向上、TextCapsで42 CIDErポイントのSOTA性能を達成した。また、ノイズの多いOCR入力に対しても頑健であり、下流タスクでのOCR信号が存在しない場合でも有効である。

ABSTRACT

The ability to recognize and reason about text embedded in visual inputs is often lacking in vision-and-language (V&L) models, perhaps because V&L pre-training methods have often failed to include such an ability in their training objective. In this paper, we propose PreSTU, a novel pre-training recipe dedicated to scene-text understanding (STU). PreSTU introduces OCR-aware pre-training objectives that encourage the model to recognize text from an image and connect it to the rest of the image content. We implement PreSTU using a simple transformer-based encoder-decoder architecture, combined with large-scale image-text datasets with scene text obtained from an off-the-shelf OCR system. We empirically demonstrate the effectiveness of this pre-training approach on eight visual question answering and four image captioning benchmarks.

研究の動機と目的

• 視覚・言語モデルにおけるシーンテキスト理解（STU）のための明示的な事前学習目的の欠如に取り組む。
• 事前学習中にOCRで認識されたテキストとその視覚的文脈を直接結びつけることで、モデルの頑健性と性能を向上させる。
• OCR品質が変動するか、推論時にOCR信号が完全に欠落している場合でも、OCRに配慮した目的関数が下流のSTU性能を向上させることを示す。
• 事前学習データのスケール、解像度、OCRシステムの選択がSTUモデルの有効性に与える影響を調査する。
• 多様なSTUベンチマークで既存手法を上回る、シンプルで効果的かつスケーラブルな事前学習レシピを提供する。

提案手法

• PreSTUは、画像ピクセルに直接適用されるViTエンコーダーから抽出された視覚特徴を用いた、T5ベースのトランスフォーマー encoder-decoder アーキテクチャを採用し、凍結されたオブジェクト検出器に依存しない。
• モデルは画像ピクセルとOCRトークンの両方を処理し、OCR出力をタスク固有のプロンプトに連結することで、文脈に配慮したテキスト理解を可能にする。
• 主な事前学習目的である splitocr は、画像と部分的なOCR出力が与えられたもとで、欠落しているシーンテキストの部分を予測させるもので、共同認識と文脈の位置特定を促進する。
• 追加の目的関数として、下流タスク固有の事前学習を強化するための vqa と cap が用いられる。
• 事前学習には、COCO や Conceptual Captions などの大規模な画像・テキストデータセットを用い、Google Cloud OCR を用いてシーンテキストを抽出することで、スケーラブルで現実的な訓練を可能にする。
• 本手法は、8つのVQAおよび4つの画像キャプションタスクを含む12の多様なSTUベンチマークで評価され、データスケール、解像度、OCRシステムの頑健性に関するアブレーションスタディが実施されている。

実験結果

リサーチクエスチョン

• RQ1 OCRに配慮した事前学習目的関数は、視覚・言語モデルの視覚的文脈内でのシーンテキスト認識および文脈への位置指定能力を向上させるか？
• RQ2 タスクに依存しない目的関数である splitocr を用いた事前学習は、標準的なV&L事前学習と比較して、下流のSTU性能にどのように寄与するか？
• RQ3 下流のOCRシステムの品質が異なる場合、あるいはOCR信号が完全に欠落している場合でも、PreSTUはどの程度有効に機能するか？
• RQ4 事前学習データのスケールと画像解像度は、STUモデルの性能にどのように影響するか？
• RQ5 OCRに配慮した目的関数を組み込むことで、未学習のSTUタスクへのゼロショット転送性が向上するか？

主な発見

• PreSTUは、強力なベースラインと比較して、TextVQAで10.4%の絶対的向上を達成し、シーンテキスト推論能力の顕著な向上を示した。
• TextCapsベンチマークでは、ベースライン比で42.0 CIDErポイントの向上を達成し、より詳細かつ正確なシーンテキストキャプションを生成した。
• ゼロショットの splitocr→vqa 目的関数は、微調整なしでTextVQAで53.1%の精度を達成し、同じデータで微調整された教師あり NoPreSTU ベースラインを上回った。
• 事前学習の画像解像度を224×224から640×640に引き上げると、TextVQAの精度は47.1%から55.6%に向上し、高解像度の視覚特徴の重要性を示した。
• 事前学習データを全データ（1300万サンプル）の1%から100%にスケーリングしたところ、TextVQAの精度は42.3%から55.6%に上昇し、データスケールの大きな利益を示した。
• splitocrで事前学習されたモデルは、下流のOCRシステムの変動に対してより頑健であり、ロゼッタのような精度が低いOCRシステムでもベースラインを上回り、人為アノテーションのTextOCRを上回るgOCRでさえもベースラインを上回った。