[論文レビュー] Scaling Up Vision-Language Pre-training for Image Captioning

Xiaowei Hu, Zhe Gan+5 more|arXiv (Cornell University)|Nov 24, 2021

Multimodal Machine Learning Applications参考文献 56被引用数 16

ひとこと要約

本稿では、画像キャプション生成のための大規模な視覚言語事前学習モデルであるLEMONを紹介する。モデルサイズ（13M〜675Mパラメータ）と事前学習データ（Webの代替テキストから得た最大2億組の画像-テキストペア、ALT200M）の両方をスケーリングすることで、より大きなモデルとデータを用いることで性能が顕著に向上することを示し、COCO Caption、nocaps、Conceptual Captionsの各ベンチマークで新たな最先端性能を達成した。また、長尾の視覚的概念に対しても強いゼロショット一般化性能を示した。

ABSTRACT

In recent years, we have witnessed significant performance boost in the image captioning task based on vision-language pre-training (VLP). Scale is believed to be an important factor for this advance. However, most existing work only focuses on pre-training transformers with moderate sizes (e.g., 12 or 24 layers) on roughly 4 million images. In this paper, we present LEMON, a LargE-scale iMage captiONer, and provide the first empirical study on the scaling behavior of VLP for image captioning. We use the state-of-the-art VinVL model as our reference model, which consists of an image feature extractor and a transformer model, and scale the transformer both up and down, with model sizes ranging from 13 to 675 million parameters. In terms of data, we conduct experiments with up to 200 million image-text pairs which are automatically collected from web based on the alt attribute of the image (dubbed as ALT200M). Extensive analysis helps to characterize the performance trend as the model size and the pre-training data size increase. We also compare different training recipes, especially for training on large-scale noisy data. As a result, LEMON achieves new state of the arts on several major image captioning benchmarks, including COCO Caption, nocaps, and Conceptual Captions. We also show LEMON can generate captions with long-tail visual concepts when used in a zero-shot manner.

研究の動機と目的

• モデルサイズとデータスケールの両方を変化させた際の、画像キャプション生成のための視覚言語事前学習（VLP）のスケーリング行動を調査すること。
• Webの代替テキスト属性から得た画像-テキストペアを用いて、大規模でWebクロールされた画像-テキストデータセット（ALT200M）を構築すること。
• 特にノイズが多い大規模データの下で、異なるモデルアーキテクチャーや学習目的の有効性を評価すること。
• VLPにおける実験的スケーリング法則を確立し、モデル容量とデータ量の最適なトレードオフを特定すること。
• 大規模なノイズを含むデータで事前学習された大規模モデルが、最先端の性能と長尾の視覚的概念に対するゼロショット一般化を達成できることを示すこと。

提案手法

• Webの代替テキストから収集した、最大2億3400万組の画像-テキストペアを含むALT200Mというデータセットを構築した。長尾の概念カバレッジが非常に高い。
• VinVLモデルをベースアーキテクチャとして採用し、トランスフォーマーの深さと幅をスケーリングすることで、13M〜675Mパラメータのモデルを構築した。
• 下流のキャプション生成タスクと整合性を持つように学習目的を調整し、シーケンス・ツー・シーケンスのマスキング言語モデリング（s2s-MLM）を採用した。
• ALT200Mで学習し、COCO、nocaps、Conceptual Captionsで評価することで、モデルサイズとデータスケール（300万〜2億サンプル）を変化させた制御実験を実施した。
• ノイズの多いデータ条件下でも有効なモデルアーキテクチャ（エンコーダオンリー対エンコーダデコーダ）と学習目的（LM 対 s2s-MLM）の比較を、アブレーションスタディとして実施した。
• COCOで微調整し、out-of-domainなnocapsでテストすることで一般化性能を評価し、学習曲線とデータ効率を分析した。

実験結果

リサーチクエスチョン

• RQ1 事前学習データがますます大きくなる中で、モデルサイズが画像キャプション生成性能に与える影響は何か？
• RQ2 特にノイズが多く、Webからクロールされたデータである場合、事前学習データのスケールが下流のキャプション生成性能に与える影響は何か？
• RQ3 画像キャプション生成において、ノイズが多い大規模データ環境下で、最良の学習目的（例：LM 対 s2s-MLM）は何か？
• RQ4 大規模なVLPモデルは、微調整時に見なかった長尾の視覚的概念をゼロショットで一般化できるか？
• RQ5 モデル容量とデータスケールの相互作用は、学習効率と性能の飽和状態を決定づけるか？

主な発見

• LEMONは、COCO CaptionのKarpathyテストスプリットで120.9というCIDErスコアを達成し、以前の手法を上回る新たな最先端性能を記録した。
• Conceptual Captionsでは104.4のCIDErスコアを達成し、ノイズが多くオープンドメインなデータでも強力な性能を示した。
• 小規模データ（1000万未満）ではモデルサイズの拡大による性能向上は限定的であったが、1000万を超えるデータでは顕著な向上が見られ、データ依存のスケーリング閾値があることが示唆された。
• 0.8Bのサンプルで学習した「ヘヴィ」モデル（675Mパラメータ）は、190億のサンプルで学習した「ベース」モデルを上回った。これは、より大きなモデルがより高いデータ効率を示していることを示している。
• s2s-MLM目的は標準的な言語モデリング（LM）を上回り、特にノイズの多いデータ環境下で顕著な優位性を示した。また、学習率のハイパーパrameterにあまり敏感ではなかった。
• LEMONは強いゼロショット一般化性能を示し、微調整時に見なかった長尾の視覚的概念に対しても、効果的にキャプションを生成できた。