[論文レビュー] TAP: Text-Aware Pre-training for Text-VQA and Text-Caption

Zhengyuan Yang, Yijuan Lu+7 more|arXiv (Cornell University)|Dec 8, 2020

Multimodal Machine Learning Applications参考文献 58被引用数 19

ひとこと要約

本論文は、視覚言語事前学習におけるシーンテキストを明示的に統合することで、Text-VQAおよびText-Captionタスクのためのマルチモーダル表現学習を向上させる、Text-Aware Pre-training (TAP) を提案する。OCRから抽出されたシーンテキストを入力モダリティとして明示的に統合し、マスク言語モデル化、画像・テキストマッチング、相対的空間的位置予測の3つの新規事前学習タスクを導入することで、テキスト語、視覚的オブジェクト、およびシーンテキスト間の整合性が著しく向上し、大規模なOCR-CCデータセットで事前学習した場合、TextVQAで+8.3%の精度向上、TextCapsで+10.2 CIDErを達成し、最先端の性能を実現した。

ABSTRACT

In this paper, we propose Text-Aware Pre-training (TAP) for Text-VQA and Text-Caption tasks. These two tasks aim at reading and understanding scene text in images for question answering and image caption generation, respectively. In contrast to the conventional vision-language pre-training that fails to capture scene text and its relationship with the visual and text modalities, TAP explicitly incorporates scene text (generated from OCR engines) in pre-training. With three pre-training tasks, including masked language modeling (MLM), image-text (contrastive) matching (ITM), and relative (spatial) position prediction (RPP), TAP effectively helps the model learn a better aligned representation among the three modalities: text word, visual object, and scene text. Due to this aligned representation learning, even pre-trained on the same downstream task dataset, TAP already boosts the absolute accuracy on the TextVQA dataset by +5.4%, compared with a non-TAP baseline. To further improve the performance, we build a large-scale dataset based on the Conceptual Caption dataset, named OCR-CC, which contains 1.4 million scene text-related image-text pairs. Pre-trained on this OCR-CC dataset, our approach outperforms the state of the art by large margins on multiple tasks, i.e., +8.3% accuracy on TextVQA, +8.6% accuracy on ST-VQA, and +10.2 CIDEr score on TextCaps.

研究の動機と目的

• 従来の視覚言語事前学習がシーンテキストおよび視覚的・言語的モダリティとの関係を捉えることの限界を是正すること。
• 下流のText-VQAおよびText-Captionタスクのための、テキスト語、視覚的オブジェクト、およびシーンテキスト間の共同表現学習を向上させること。
• OCRから抽出されたシーンテキストを追加の入力モダリティとして明示的に統合する事前学習フレームワークを構築すること。
• モデル性能のさらなる向上を図るため、大規模かつシーンテキスト豊富な画像・テキストデータセット（OCR-CC）を構築すること。

提案手法

• 事前学習段階で、OCRから抽出されたシーンテキストトークンとその対応する視覚的バウンディングボックスを追加の入力モダリティとして統合する。
• シーンテキストトークンをマスク入力に含めるように設計されたマスク言語モデル化（MLM）タスクを提案し、クロスモダリティの整合性を向上させる。
• 画像とテキスト入力（シーンテキストを含む）の関連性を評価する画像・テキストマッチング（ITM）タスクを設計する。
• シーンテキストと視覚的オブジェクト間の空間的関係を学習するため、相対的（空間的）位置予測（RPP）タスクを導入する。
• 140万件のシーンテキスト関連画像・テキストペアを含む、新たに構築された大規模データセットOCR-CCでモデルを事前学習する。
• テキスト語、視覚的オブジェクト、およびシーンテキスト領域間の潜在的整合性を学習するため、クロスアテンションを備えたマルチモーダルトランスフォーマーを用いる。

実験結果

リサーチクエスチョン

• RQ1 事前学習段階でシーンテキストを明示的に統合することで、Text-VQAおよびText-Captionのためのマルチモーダル表現学習が向上するか？
• RQ2 シーンテキストを用いた事前学習が、テキスト語、視覚的オブジェクト、およびシーンテキスト領域間の整合性に与える影響は何か？
• RQ3 標準的な視覚言語データセットと比較して、大規模かつシーンテキスト豊富なデータセット（OCR-CC）で事前学習を実施した場合の影響は何か？
• RQ4 提案された事前学習タスク（MLM, ITM, RPP）が下流タスクのパフォーマンスに果たす貢献度はどの程度か？
• RQ5 TAPは、視覚的および言語的モダリティの整合性に依存する非TAPモデルの失敗事例を是正できるか？

主な発見

• 同じ下流データで事前学習および微調整した場合、TAPは非TAPベースラインに対してTextVQAデータセットで+5.4%の絶対的精度向上を達成した。
• OCR-CCデータセットで事前学習した場合、TAPはTextVQAで+8.3%の精度向上を達成し、以前の最先端手法を上回った。
• TAPはST-VQAで+8.6%、TextCapsで+10.2 CIDErの向上を達成し、タスク間での優れた一般化性能を示した。
• 共参照スコア分析により、シーンテキスト言語整合性が7倍に増加し、シーンテキスト視覚整合性が2倍に増加したことが確認され、より良い共同表現学習が実現されたことが裏付けられた。
• 定性的な結果から、TAPは言い換えられた質問、中間オブジェクトを介したシーンテキストへの参照、複雑な空間的関係を正しく処理できることを示した。
• TAPは長いテキストスパンにわたる複数のシーンテキストトークンを正しく位置特定でき、複数語エンティティクエリに対する正確な回答生成を可能にした。