[論文レビュー] A Frustratingly Simple Approach for End-to-End Image Captioning

Ziyang Luo, Yadong Xi+2 more|arXiv (Cornell University)|Jan 30, 2022

Multimodal Machine Learning Applications被引用数 12

ひとこと要約

この論文は、オブジェクト検出器を必要とせず、事前学習済みのCLIP-ViT視覚エンコーダーとGPT2言語デコーダーを自己アンサンブル型クロスモーダル統合機構で接続するシンプルで効果的なエンドツーエンドの画像キャプション生成フレームワーク、VC-GPTを提案する。生成時に単モーダルおよびクロスモーダル知識を統合的に活用することで、MSCOCO、Flickr30k、NoCapsのベンチマークで最先端または第二位の性能を達成する。

ABSTRACT

Image Captioning is a fundamental task to join vision and language, concerning about cross-modal understanding and text generation. Recent years witness the emerging attention on image captioning. Most of existing works follow a traditional two-stage training paradigm. Before training the captioning models, an extra object detector is utilized to recognize the objects in the image at first. However, they require sizeable datasets with fine-grained object annotation for training the object detector, which is a daunting task. In addition, the errors of the object detectors are easy to propagate to the following captioning models, degenerating models' performance. To alleviate such defects, we propose a frustratingly simple but highly effective end-to-end image captioning framework, Visual Conditioned GPT (VC-GPT), by connecting the pre-trained visual encoder (CLIP-ViT) and language decoder (GPT2). Different from the vanilla connection method that directly inserts the cross-attention modules into GPT2, we come up with a self-ensemble cross-modal fusion mechanism that comprehensively considers both the single- and cross-modal knowledge. As a result, we do not need extra object detectors for model training. Experimental results conducted on three popular image captioning benchmarks (MSCOCO, Flickr30k and NoCaps) demonstrate that our VC-GPT achieves either the best or the second-best performance across all evaluation metrics over extensive baseline systems.

研究の動機と目的

• オブジェクト検出器に依存しない画像キャプション生成を実現するため、エンドツーエンド学習を可能にする。
• オブジェクト検出器の微調整なしに、視覚と言語の間のクロスモーダル整合性を向上させる。
• 事前学習済みの知識を保持しつつクロスモーダルアテンションを可能にする、軽量で効果的な統合機構を開発する。
• 事前学習済みの視覚および言語モデルのみを用いて、標準ベンチマークで最先端の性能を達成する。

提案手法

• CLIP-ViT（視覚エンコーダー）とGPT2（言語デコーダー）を自己アンサンブル型クロスモーダル統合モジュールで接続し、エンドツーエンド学習を可能にする。
• 単モーダルGPT2エキスパートとクロスモーダル統合エキスパートの予測を組み合わせる自己アンサンブル機構を導入し、単モーダルおよびマルチモーダル知識のバランスを取る。
• 視覚パッチと言語トークンの間にクロスアテンションモジュールを設け、アテンションヘッドにわたる特徴マップを平均化して解釈可能性を向上させる。
• 二段階の訓練プロトコルを採用：クロスモーダル事前学習の後、画像キャプションデータセットでの微調整を行う。
• 微調整中に画像解像度を向上させる際、位置埋め込みの補間を適用してアライメントを維持する。
• クロスモーダル事前学習中にCLIP-ViTおよびGPT2の重みを凍結する戦略を検討し、事前学習済み知識の保持を図る。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの視覚エンコーダーと言語デコーダーの間のシンプルな統合機構が、オブジェクト検出器を必要とせずに最先端の画像キャプション性能を達成できるか？
• RQ2 単モーダルエキスパートとクロスモーダルエキスパートの自己アンサンブル統合は、そのままのクロスアテンション挿入と比較して、キャプション品質をどのように向上させるか？
• RQ3 クロスモーダル事前学習中に、事前学習済みコンponents（CLIP-ViTおよびGPT2）を凍結する最適な戦略は何か？
• RQ4 微調整時の学習率および画像解像度が、最終的なキャプション性能にどのように影響するか？

主な発見

• VC-GPTは、MSCOCO、Flickr30k、NoCapsの全メトリクスで最高または第二位の性能を達成し、多数のベースラインシステムを上回る。
• 事前学習中にCLIP-ViTを凍結すると、下流性能が向上し、MSCOCO（val）で90.8 CIDEr、24.3 B@4、28.7 M、23.6 Sを達成する。
• GPT2と統合モジュールに同じ学習率（3e-5）を適用すると最良の性能が得られ、MSCOCO（val）で126.7 CIDEr、37.6 B@4、30.0 M、23.6 Sを達成する。
• 微調整中に画像解像度を向上させると性能が向上するが、解像度が大きくなりすぎるとドメインシフトの影響で性能が低下する。
• アテンションマップから、VC-GPTが視覚的グランドイングを学習しており、「boy」と「cat」などのオブジェクトを正しく注目し、「ball」と「bat」のような関係性を捉えていることが示された。
• 自己アンサンブル機構により、単モーダルおよびクロスモーダル知識のバランスが適切に取られ、より正確で多様なキャプションが生成された。