[論文レビュー] Seeing past words: Testing the cross-modal capabilities of pretrained V&L models on counting tasks

Letiția Pârcălăbescu, Albert Gatt+2 more|arXiv (Cornell University)|Dec 22, 2020

Multimodal Machine Learning Applications参考文献 35被引用数 20

ひとこと要約

本論文は、ViLBERT、ViLBERT 12-in-1、LXMERT の3つの事前学習済み視覚言語（V&L）モデルの、画像文対応と視覚的数え上げの2つのタスクにおけるクロスモodal推論およびグランドティング能力を評価する。対応タスクでは優れた性能を示すが、数え上げタスクでは一般化に失敗し、データセットバイアスに依存し、実体の個別化が不十分であることが判明。これは、マルチモーダル事前学習を経ていても、グランドティング能力が限定的であることを示唆している。

ABSTRACT

We investigate the reasoning ability of pretrained vision and language (V&L) models in two tasks that require multimodal integration: (1) discriminating a correct image-sentence pair from an incorrect one, and (2) counting entities in an image. We evaluate three pretrained V&L models on these tasks: ViLBERT, ViLBERT 12-in-1 and LXMERT, in zero-shot and finetuned settings. Our results show that models solve task (1) very well, as expected, since all models are pretrained on task (1). However, none of the pretrained V&L models is able to adequately solve task (2), our counting probe, and they cannot generalise to out-of-distribution quantities. We propose a number of explanations for these findings: LXMERT (and to some extent ViLBERT 12-in-1) show some evidence of catastrophic forgetting on task (1). Concerning our results on the counting probe, we find evidence that all models are impacted by dataset bias, and also fail to individuate entities in the visual input. While a selling point of pretrained V&L models is their ability to solve complex tasks, our findings suggest that understanding their reasoning and grounding capabilities requires more targeted investigations on specific phenomena.

研究の動機と目的

• 事前学習済み V&L モデルが、事前学習タスクを超えて正確なクロスモダル推論を実行できるかどうかを評価すること。
• モデルが視覚的数え上げタスクにおいて、分布外の数量に一般化できるかどうかを調査すること。
• マルチモーダルモデルにおけるデータセットバイアスおよび実体の個別化失敗の程度を評価すること。
• マルチタスク微調整後に、事前学習タスクで途切れ的忘却（catastrophic forgetting）を示すかどうかを検討すること。
• 汎用的 V&L モデルが inherently 強力なグランドティングおよび推論能力を備えているという仮定に疑問を呈すること。

提案手法

• アドバルシナルな画像文ペアを作成するためのフォーリング戦略を用いて、対応能力と数え上げ能力の評価を行う。
• ViLBERT、ViLBERT 12-in-1、LXMERT の3つのモデルを、ゼロショットおよび微調整済み設定で、画像文対応および数え上げタスクの両方で評価する。
• 自然画像と明確な数値表現を用いた数え上げプローブを構築し、グランドティングおよび数え上げの正確性をテストする。
• モデルが誤った画像文ペアを検出できる能力、および画像内の実体の数を正しく判断できる能力を評価する。
• 正確性を指標として用い、ランダムベースラインとの比較および失敗事例の分析を行う。
• 注意のパターンの定性的分析と、データセットバイアスの利用状況を調査することで、モデルの行動を検討する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み V&L モデルは、ゼロショット設定において、誤った画像文対応を正確に検出できるか？
• RQ2 これらのモデルは、タスク固有の微調整なしで、正確な視覚的数え上げをどの程度実行できるか？
• RQ3 モデルは、数え上げタスクにおいて、未観測の数量に一般化できるか、それともデータセットバイアスに依存しているか？
• RQ4 マルチタスク微調整後に、特に画像文対応タスクで、途切れ的忘却の兆候が見られるか？
• RQ5 モデルは視覚的実体を適切に個別化できており、正確な数え上げの前提を満たしているか？

主な発見

• 3つのモデルとも、ゼロショット設定で画像文対応タスクにおいて優れた性能を示しており、このタスクにおける強力な事前学習が裏付けられている。
• 微調整後でさえ、いずれのモデルも意味のある性能を達成できず、ランダムベースラインに近い結果にとどまっている。
• モデルは、特に数え上げタスクにおいて、強いデータセットバイアスに依存しており、未確認の数量への一般化に失敗している。
• LXMERT では途切れ的忘却の兆候が観察され、ViLBERT 12-in-1 ではやや弱いが同様の兆候が確認され、特にマルチタスク微調整後の対応タスクで顕著である。
• すべてのモデルが、視覚的実体の適切な個別化に失敗しており、言語的参照を視覚的インスタンスに正しく対応させるという根本的な制限を示している。
• マルチモーダルアーキテクチャおよび事前学習を経ていても、モデルは特に数値推論において、強固なクロスモダルグランドティングを欠いている。