[論文レビュー] Seeing Out of tHe bOx: End-to-End Pre-training for Vision-Language Representation Learning

Zhicheng Huang, Zhaoyang Zeng+4 more|arXiv (Cornell University)|Apr 7, 2021

Multimodal Machine Learning Applications参考文献 42被引用数 24

ひとこと要約

SOHO は、トレーニング可能な視覚エンコーダとダイナミックな視覚辞書を用いて、画像-テキストペアから跨模态表現を学習するエンドツーエンドの vision-language pre-training モデルを提案し、推論を高速化し、いくつかの VL タスクで最先端に近い性能を達成する。

ABSTRACT

We study joint learning of Convolutional Neural Network (CNN) and Transformer for vision-language pre-training (VLPT) which aims to learn cross-modal alignments from millions of image-text pairs. State-of-the-art approaches extract salient image regions and align regions with words step-by-step. As region-based visual features usually represent parts of an image, it is challenging for existing vision-language models to fully understand the semantics from paired natural languages. In this paper, we propose SOHO to "See Out of tHe bOx" that takes a whole image as input, and learns vision-language representation in an end-to-end manner. SOHO does not require bounding box annotations which enables inference 10 times faster than region-based approaches. In particular, SOHO learns to extract comprehensive yet compact image features through a visual dictionary (VD) that facilitates cross-modal understanding. VD is designed to represent consistent visual abstractions of similar semantics. It is updated on-the-fly and utilized in our proposed pre-training task Masked Visual Modeling (MVM). We conduct experiments on four well-established vision-language tasks by following standard VLPT settings. In particular, SOHO achieves absolute gains of 2.0% R@1 score on MSCOCO text retrieval 5k test split, 1.5% accuracy on NLVR$^2$ test-P split, 6.7% accuracy on SNLI-VE test split, respectively.

研究の動機と目的

• bounding-box領域特徴なしでエンドツーエンドのvision-language pre-training を動機付ける。
• Dense visual features と language tokens の間の意味的ギャップに対処する。
• コンパクトな視覚トークンを生成し、訓練中に動的更新を可能にする視覚辞書を導入する。
• Masked Vision Modeling, Masked Language Modeling, and Image-Text Matching を事前学習の目的として開発する。

提案手法

• 学習可能なCNN視覚エンコーダを用いて全画像特徴を抽出する。
• 視覚特徴を k 個のクラスタ中心へマッピングし、moving-average ( momentum ) ルールで更新する視覚辞書（VD）を導入する。
• VD の非微分最近傍マッピングを定義し、エンドツーエンド訓練を可能にするために stop-gradient 更新を適用する。
• MLM, MVM, ITM の3つの目的で訓練し、これらを組み合わせて pre-training objective を形成する。
• ドメイン内 VG および MSCOCO データで前学習を行い、跨模态表現を学習する。
• image-text retrieval, VQA, NLVR, visual entailment などの下流タスクでファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 region-based features 無しのエンドツーエンド VLPT は image-text ペアから効果的な跨模态表現を学習できるか？
• RQ2 動的更新される視覚辞書は、region-based あるいは grid-based features と比較して跨模态アライメントを改善するか？
• RQ3 標準的なVLタスクにおける SOHO の性能と効率の利点は？
• RQ4 最良の跨模态学習のために pre-training losses（MLM, MVM, ITM）をどうバランスすべきか？

主な発見

• SOHO はいくつかのVLベンチマークで顕著な改善を達成: MSCOCO テキスト検索で R@1 2.0%絶対的増分（5k テスト分割）。
• NLVR 2 test-P 分割で 1.5% 精度を達成。
• SNLI-VE test 分割で 6.7% 精度を達成。
• VQA2.0 test-std 分割で 0.56% VQA スコアを達成。
• 推論は region-based BUTD 風の手法より約10x 速く、エンドツーエンド処理と領域提案が不要なため。
• VD サイズ 2048 が多くのタスクで最適な性能向上をもたらす。