[論文レビュー] MAP: Multimodal Uncertainty-Aware Vision-Language Pre-training Model

Yatai Ji, Junjie Wang+7 more|arXiv (Cornell University)|Oct 11, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、確率分布エンコーダー（PDE）を用いてモダリティ特徴をガウス分布として表現することで、不確実性をモデル化するマルチモーダルなビジョン・ランゲージ事前学習モデルMAPを提案する。不確実性に配慮した事前学習タスク（D-VLC、D-MLM、D-ITM）を統合することで、画像・テキスト検索、VQA、視覚的推論といった下流タスクで最先端の性能を達成するとともに、分布サンプリングにより多様で不確実性に基づいた予測を可能にする。

ABSTRACT

Multimodal semantic understanding often has to deal with uncertainty, which means the obtained messages tend to refer to multiple targets. Such uncertainty is problematic for our interpretation, including inter- and intra-modal uncertainty. Little effort has studied the modeling of this uncertainty, particularly in pre-training on unlabeled datasets and fine-tuning in task-specific downstream datasets. In this paper, we project the representations of all modalities as probabilistic distributions via a Probability Distribution Encoder (PDE) by utilizing sequence-level interactions. Compared to the existing deterministic methods, such uncertainty modeling can convey richer multimodal semantic information and more complex relationships. Furthermore, we integrate uncertainty modeling with popular pre-training frameworks and propose suitable pre-training tasks: Distribution-based Vision-Language Contrastive learning (D-VLC), Distribution-based Masked Language Modeling (D-MLM), and Distribution-based Image-Text Matching (D-ITM). The fine-tuned models are applied to challenging downstream tasks, including image-text retrieval, visual question answering, visual reasoning, and visual entailment, and achieve state-of-the-art results.

研究の動機と目的

• ビジョン・ランゲージタスクにおける意味的不確実性、特にモダリティ間およびモダリティ内での曖昧性に対処する。
• マルチモーダル表現における不確実性を、決定論的な点ではなく確率分布としてモデル化し、より豊かな意味的関係を捉える。
• 大規模なラベルなしデータを活用するため、分布表現を活用する新たな事前学習タスクを開発する。
• 不確実性モデリングを統合した一貫性がありエンド・トゥ・エンドの事前学習フレームワークを構築し、下流タスクの性能を向上させる。
• VQA や画像キャプションなどのタスクにおいて、学習済み分布からのサンプリングにより多様で妥当な予測を可能にする。

提案手法

• 確率分布エンコーダー（PDE）は、トークンと画像パッチ間のアテンションベースの相互作用を用いて、ビジョンおよびランゲージモダリティのシーケンスレベル表現をガウス分布に変換する。
• 各モダリティの表現は平均ベクトルと分散ベクトルとしてパrameter化され、多変量ガウス分布を形成し、不確実性を符号化する。
• 3つの新しい事前学習タスクを導入：分布ベースのビジョン・ランゲージ対比学習（D-VLC）、分布ベースのマスキング言語モデリング（D-MLM）、分布ベースの画像・テキストマッチング（D-ITM）。
• D-VLC は、モダリティ間の全体的な分布表現を対応付けることで、粗い粒度のクロスモダリティ理解を実現する。
• D-MLM と D-ITM は、それぞれトークンレベルと全体レベルで、分布表現を用いた対応付けを精緻化する。
• モデルは、VQA、画像検索、視覚的含意などの下流タスクでエンド・トゥ・エンドに微調整される。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル表現を確率分布としてモデル化することで、ビジョン・ランゲージタスクにおける意味理解が向上するか？
• RQ2 分布表現を用いた不確実性に配慮した事前学習が、ビジョン・ランゲージベンチマークにおける下流タスク性能に与える影響はいかほどか？
• RQ3 分布表現は、VQA やキャプション生成などのタスクで多様で妥当な予測をどの程度可能にするか？
• RQ4 D-VLC、D-MLM、D-ITM のうち、どの事前学習コンポonentがモデル性能に最も寄与しているか？
• RQ5 不確実性モデリングの統合により、曖昧な視覚的および言語的文脈における曖昧性が軽減されるか？

主な発見

• MAP は、画像・テキスト検索、VQA2.0、NLVR2、SNLI-VE で最先端の性能を達成し、不確実性に配慮した事前学習の有効性を示している。
• D-MLM 事前学習タスクが最も性能向上に寄与しており、このタスクを除いて学習したモデルは、全戦略において最も悪い結果を示している。
• 事前学習により、深層モデル（例：8層）がより良い一般化性能を示すようになり、ランダム初期化モデルで見られる性能の上限に到達しなくなった。
• 可視化により、分布表現が意味的に類似した画像とキャプションをまとめてクラスタリングしており、重複する楕円は共有される意味を示している。
• 分布表現からのサンプリングにより、同じ画像に対して多様で妥当な答え（例：'field'、'park'、'grass'）が生成されるが、決定論的モデルでは1つの答えしか生成しない。
• PDE モジュールにより、モデルは複雑な関係性と不確実性を表現でき、曖昧な状況でもより頑健な性能を発揮するようになった。