[論文レビュー] Weakly-supervised VisualBERT: Pre-training without Parallel Images and Captions

Liunian Harold Li, Haoxuan You+4 more|arXiv (Cornell University)|Oct 24, 2020

Multimodal Machine Learning Applications参考文献 47被引用数 7

ひとこと要約

この論文では、画像とキャプションのペairedデータが不要な弱教師付きVisualBERTを提案する。言語のみおよび画像のみのコーパスに対してマスク・予測の目的関数を用い、オブジェクト検出タグをクロスモダリティのアンカーとして利用することで、画像とキャプションのペアが存在しない状態で事前学習を行う。この手法は完全に教師ありの事前学習と同等の性能を達成し、大規模な生画像データで事前学習することでさらなる向上が得られる。

ABSTRACT

Pre-trained contextual vision-and-language (V&L) models have brought impressive performance improvement on various benchmarks. However, the paired text-image data required for pre-training are hard to collect and scale up. We investigate if a strong V&L representation model can be learned without text-image pairs. We propose Weakly-supervised VisualBERT with the key idea of conducting mask-and-predict pre-training on language-only and image-only corpora. Additionally, we introduce the object tags detected by an object recognition model as anchor points to bridge two modalities. Evaluation on four V&L benchmarks shows that Weakly-supervised VisualBERT achieves similar performance with a model pre-trained with paired data. Besides, pre-training on more image-only data further improves a model that already has access to aligned data, suggesting the possibility of utilizing billions of raw images available to enhance V&L models.

研究の動機と目的

• 画像キャプションのペアデータが一切ない状態でも、強力なビジョン・ランゲージ表現を学習できるかどうかを調査すること。
• ビジョン・ランゲージモデルのための高価で収集が難しいペア学習データへの依存を減らすこと。
• 非ペアな画像およびテキストコーパスに対してマスク予測の目的関数を用いた事前学習の可能性を検討すること。
• オブジェクト検出タグが、ペアデータが存在しない弱教師付き設定において、ビジョンとランゲージのモダリティを効果的に統合するためのアンカーとして機能するかどうかを評価すること。
• 画像のみの事前学習を大規模にスケールアップした場合、下流のビジョン・ランゲージ性能に与える影響を評価すること。

提案手法

• 言語のみのコーパスに対してマスクされた言語モデリングの目的関数を用いてモデルを事前学習する。
• 画像のみのコーパスに対してマスクされた画像モデリングの目的関数を用いてモデルを事前学習する。
• 事前学習済みのオブジェクト検出器から得られるオブジェクト検出タグを、視覚的および言語的表現を統合するためのクロスモダリティのアンカー点として導入する。
• 標準的な微調整プロトコルに従い、統合されたモデルを下流のビジョン・ランゲージベンチマークで微調整する。
• 視覚的特徴とテキストトークンを同時にエンコードできるマルチモーダルトランスフォーマーのアーキテクチャを用い、クロスアテンション機構を統合する。
• オブジェクトタグから導出される対照学習信号を用いて、モダリティを統合するためのエンドツーエンドの学習を行う。

実験結果

リサーチクエスチョン

• RQ1 事前学習段階で画像キャプションのペアデータがまったくない状態でも、ビジョン・ランゲージモデルが強力な性能を達成できるか？
• RQ2 非ペアな画像およびテキストコーパスに対してマスクされた事前学習を施すことで、教師あり事前学習と同等の表現力を得られるか？
• RQ3 ペアデータが存在しない状況下で、オブジェクト検出タグがビジョンとランゲージの表現を効果的に統合するためのアンカーとして機能できるか？
• RQ4 ペアデータが利用可能であっても、大規模な生画像データでの事前学習が性能向上に寄与するか？
• RQ5 弱教師付きビジョン・ランゲージ学習において、画像のみの事前学習とテキストのみの事前学習の相対的な寄与度は何か？

主な発見

• 弱教師付きVisualBERTは、4つのビジョン・ランゲージベンチマークにおいて、画像キャプションのペアデータで事前学習されたモデルと同等の性能を達成した。
• ペアデータが利用可能であっても、大規模な画像のみのデータで事前学習を実施することで、著しい性能向上が得られた。これは生画像の価値を示している。
• オブジェクト検出タグをアンカーとして用いることで、ペア例が不要な状態でも効果的なクロスモダリティ統合が可能となった。
• 非ペアな言語および画像コーパスに対してマスクされた事前学習を施すことで、強固で汎用性の高いビジョン・ランゲージ表現が得られた。
• 画像のみの事前学習による性能向上の兆候から、数十億もの生で非ペアな画像がビジョン・ランゲージモデルの向上に寄与できることが示唆された。
• 本研究の結果は、弱教師付きで非ペアなデータソースから強力なV&L表現を学習することが可能であることを実証した。