[論文レビュー] Unsupervised Vision-and-Language Pre-training Without Parallel Images and Captions

Liunian Harold Li, Haoxuan You+4 more|arXiv (Cornell University)|Oct 24, 2020

Multimodal Machine Learning Applications参考文献 55被引用数 6

ひとこと要約

本稿では、対応する画像・キャプションペアが存在しない状況下で、マスク・予測の目的関数を非対応のテキストおよび画像コーパスに適用し、オブジェクト検出器のタグをクロスモダリティのアンカーポイントとして用いることで、クロスモダリティ表現を学習する教師なし視覚・言語事前学習手法であるUnsupervised VisualBERT (U-VisualBERT) を提案する。この手法は、4つの英語のV&Lベンチマークで教師ありモデルと同等の性能を達成し、強力なV&L表現学習のためには並行データが不可欠であるという考えを疑問視するものである。

ABSTRACT

Pre-trained contextual vision-and-language (V&L) models have achieved impressive performance on various benchmarks. However, existing models require a large amount of parallel image-caption data for pre-training. Such data are costly to collect and require cumbersome curation. Inspired by unsupervised machine translation, we investigate if a strong V&L representation model can be learned through unsupervised pre-training without image-caption corpora. In particular, we propose to conduct ``mask-and-predict'' pre-training on text-only and image-only corpora and introduce the object tags detected by an object recognition model as anchor points to bridge two modalities. We find that such a simple approach achieves performance close to a model pre-trained with aligned data, on four English V&L benchmarks. Our work challenges the widely held notion that aligned data is necessary for V&L pre-training, while significantly reducing the amount of supervision needed for V&L models.

研究の動機と目的

• 強力な視覚・言語表現が並行する画像・キャプションデータが存在しない状況下で学習可能かどうかを調査すること。
• 効果的な視覚・言語事前学習のためには対応データが不可欠であるという広く共有されている信念に挑戦すること。
• 非対応のテキストおよび画像コーパスのみを用いた教師なし事前学習の可能性を調査すること。
• 対応データが存在しない状況下で、オブジェクト検出器のタグが効果的なクロスモダリティのアンカーポイントとして機能するかどうかを評価すること。
• 対応データと非対応データを組み合わせた半教師あり事前学習の可能性を評価すること。

提案手法

• モデルは、テキストのみのコーパスにマスク・予測の目的関数を適用し、自然言語シーケンス内のマスクされた語を予測する。
• モデルは、画像のみのコーパスにマスク・予測の目的関数を適用し、マスクされた視覚的領域とその検出されたオブジェクトタグを予測する。
• オブジェクト検出器のタグ（例：'cake'、'car'）がテキストトークンとして視覚的入力に追加され、クロスモダリティの整合性信号が生成される。
• モデルは、両モダリティの入力を処理するための単一のTransformerエンコーダーを用い、統合的表現学習を可能にする。
• 検出器のタグは、モダリティ間で共有される語彙要因として機能し、ペアの例が存在しない状況下でも、暗黙的なクロスモダリティのマッピングを可能にする。
• 制御実験では、整合性の有無にかかわらずモデルを訓練し、アブレーションスタディにより検出器タグの役割を評価する。

実験結果

リサーチクエスチョン

• RQ1 並行する画像・キャプションデータが全く存在しない状況下でも、強力な視覚・言語表現を学習可能か？
• RQ2 オブジェクト検出器のタグは、非対応のテキストと画像モダリティを接続する有効なアンカーポイントとして機能するか？
• RQ3 教師あり事前学習と比較して、教師なし事前学習の下流性能はどのように異なるか？
• RQ4 少量の対応データと組み合わせた非対応画像データは、半教師あり設定において性能向上に寄与するか？
• RQ5 ペアの例が存在しない状況下で、検出器タグがクロスモダリティの整合性をどのように実現するか？

主な発見

• NLVR2ベンチマークでは、U-VisualBERTが70.49%の精度を達成し、教師ありS-VisualBERTモデルの70.90%と非常に近い水準に達している。
• VQAベンチマークでは、U-VisualBERTがトップ1精度67.4%を達成し、教師ありベースラインの67.7%とほぼ同等の性能を示している。
• GQAベンチマークでは、U-VisualBERTが71.1%の精度を達成し、教師ありモデルの71.8%をわずかに下回るが、依然として非常に競争力がある。
• Flickr30Kでは、U-VisualBERTが画像・テキストマッチングタスクで81.2%の性能を示し、強力なゼロショット転送能力を示している。
• アブレーションスタディの結果、検出器タグを削除したモデル（U-VisualBERT_NT）では性能が著しく低下し、タグが重要な整合性信号であることが確認された。
• 300万の対応データと170万の非対応画像を用いた半教師あり事前学習（H-VisualBERT）は、ほとんどのタスクで教師あり事前学習を上回る一貫した性能向上を示しており、非対応データの価値が裏付けられている。