[論文レビュー] Seeing past words: Testing the cross-modal capabilities of pretrained V&L models

Letiția Pârcălăbescu, Albert Gatt+2 more|arXiv (Cornell University)|Dec 22, 2020

Multimodal Machine Learning Applications参考文献 20被引用数 5

ひとこと要約

この論文は、ViLBERT、ViLBERT 12-in-1、および LXMERT の3つの事前学習済みビジョンアンドランゲージ（V&L）モデルを、画像文ペairの識別と視覚的カウントの2つのマルチモーダル推論タスクで評価している。アライメントタスクでは優れた性能を示すが、特に訓練分布外の状況では、データセットバイアスと視覚的エンティティの個別化が不十分なために、エンティティのカウントに失敗する。

ABSTRACT

We investigate the ability of general-purpose pretrained vision and language V&L models to perform reasoning in two tasks that require multimodal integration: (1) discriminating a correct image-sentence pair from an incorrect one, and (2) counting entities in an image. We evaluate three pretrained V&L models on these tasks: ViLBERT, ViLBERT 12-in-1 and LXMERT, in zero-shot and finetuned settings. Our results show that models solve task (1) very well, as expected, since all models use task (1) for pretraining. However, none of the pretrained V&L models are able to adequately solve task (2), our counting probe, and they cannot generalise to out-of-distribution quantities. Our investigations suggest that pretrained V&L representations are less successful than expected at integrating the two modalities. We propose a number of explanations for these findings: LXMERT's results on the image-sentence alignment task (and to a lesser extent those obtained by ViLBERT 12-in-1) indicate that the model may exhibit catastrophic forgetting. As for our results on the counting probe, we find evidence that all models are impacted by dataset bias, and also fail to individuate entities in the visual input.

研究の動機と目的

• 事前学習済みビジョンアンドランゲージモデルが、その事前学習目的を超えて推論を実行できるかどうかを評価すること。
• これらのモデルが、視覚的カウントタスクにおいて訓練データに含まれない量の分布外に一般化できるかどうかを調査すること。
• データセットバイアスと視覚的エンティティの個別化の失敗が、マルチモーダル統合を妨げているかどうかを検討すること。
• 事前学習中にV&Lモデルで発生する極端な忘却（catastrophic forgetting）の程度を評価すること。

提案手法

• 画像文アライメントと視覚的カウントの2つのタスクに対して、3つのV&Lモデル（ViLBERT、ViLBERT 12-in-1、LXMERT）のファインチューニングとゼロショット評価を実施。
• 訓練データに存在しない未確認の数量に一般化できるかをテストするため、ゼロショットカウントプローブを用いる。
• アブレーションと注意メカニズム・特徴表現の分析を通じて、モデルの挙動を分析。
• モデル間の性能を比較し、耐性および一般化能力の差を特定。
• レアまたは分布外の例に対するモデル予測をプローブすることで、データセットバイアスを調査。
• 視覚的入力内の個々の物体を区別してカウントできるかどうかを分析することで、エンティティの個別化を評価。

実験結果

リサーチクエスチョン

• RQ1 事前学習中に観測された範囲を超えたエンティティのカウントに、事前学習済みV&Lモデルは一般化できるか？
• RQ2 データセットバイアスが、視覚的カウントタスクにおけるV&Lモデルの予測の信頼性にどの程度影響を及えるか？
• RQ3 画像文アライメントタスクで優れた性能を示すにもかかわらず、なぜV&Lモデルは視覚的カウントタスクでうまく機能しないのか？
• RQ4 事前学習中に、特にマルチモーダル推論タスクで極端な忘却が発生するのか？
• RQ5 V&Lモデルは視覚的入力内のオブジェクトをどの程度個別化できるのか？その根拠は何か？

主な発見

• 3つのモデルとも、事前学習の目的に従って、画像文アライメントタスクでは非常に優れた性能を示している。
• どのモデルに対しても、視覚的カウントプローブでの性能は十分ではなく、特に分布外の数量では顕著に劣る。
• LXMERTとViLBERT 12-in-1は、事前学習後にアライメントタスクの性能が低下しており、極端な忘却の兆候を示している。
• データセットバイアスは、特にレアまたは未確認の数量に対して、モデルの予測に顕著な影響を与えている。
• モデルは視覚的に明確に区別できるオブジェクトであっても、適切に個別化できず、結果として正確なカウントに失敗している。
• 未確認の数量への一般化は非常に劣っており、事前学習済みV&L表現に構成的推論が欠けていることが示唆される。