[論文レビュー] Examining Cooperation in Visual Dialog Models

Mircea Mironenco, Dana Kianfar+3 more|arXiv (Cornell University)|Dec 4, 2017

Multimodal Machine Learning Applications参考文献 10被引用数 3

ひとこと要約

本稿では、視覚対話モデルにおける言語的および視覚的コンポーネントの寄与を評価するブラックボックス干渉手法を提案する。画像特徴量、キャプション、対話ターンをランダムノイズまたは否定によって体系的に損なうことで、最先端のモデルが視覚的入力や対話の一貫性にほとんど依存していないことが明らかになり、代わりに初期キャプションに強く依存していることが示された。これは、エージェント間の協調性が弱いことを示している。

ABSTRACT

In this work we propose a blackbox intervention method for visual dialog models, with the aim of assessing the contribution of individual linguistic or visual components. Concretely, we conduct structured or randomized interventions that aim to impair an individual component of the model, and observe changes in task performance. We reproduce a state-of-the-art visual dialog model and demonstrate that our methodology yields surprising insights, namely that both dialog and image information have minimal contributions to task performance. The intervention method presented here can be applied as a sanity check for the strength and robustness of each component in visual dialog systems.

研究の動機と目的

• 個々のコンポーネント（言語的および視覚的）の寄与を評価するモデルに依存しない手法を開発すること。
• 視覚対話エージェントが会話中に画像と言語情報を両方活用して真正に協調しているかどうかを調査すること。
• モデルが初期キャプションに過剰に依存しているか、画像検索にための対話相互作用を効果的に活用しているかを特定すること。
• マルチモodal対話システムにおけるモデルの頑健性とコンponentレベルの信頼性に対する健全性のチェックを提供すること。

提案手法

• 推論中に構造的またはランダムな干渉を適用し、特定のコンポーネント（画像特徴量、キャプション、対話ターン）を損なう。
• 画像特徴量をランダムな一様ノイズに置き換えることで、視覚モalityへの依存度をテストする。
• キャプションの内容語をランダムな語に置き換えることで、キャプションの質と関連性を評価する。
• 質問または回答のトークンを確率pでランダムに破損させることで、対話の頑健性を評価する。
• 「はい／いいえ」の回答を反転させる否定干渉を用い、非協力的行動への感受性をテストする。
• 各干渉条件下でVisDialバリデーションセットにおける平均百分位順位（MPR）を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 視覚対話モデルは、正確な画像検索のために視覚的入力にどの程度依存しているか？
• RQ2 予測を行う際に、対話履歴と比較して初期キャプションにどの程度依存しているか？
• RQ3 対話ターンにランダムまたは悪意のある摂動が加えられた場合、モデルはどの程度頑健か？
• RQ4 回答ボットからの否定された応答に直面したとき、モデルは協調的行動を示すか？
• RQ5 言語的および視覚的コンポーネントは同等に活用されているか、それとも一方が意思決定プロセスにおいて支配的か？

主な発見

• 画像特徴量をランダムノイズに置き換えた場合、MPRはたった0.4%低下した。これは視覚的入力への依存度が極めて低いことを示している。
• キャプション干渉により、ラウンド10で40.1%の性能低下が生じた。これは初期キャプションが情報の主な源であることを示している。
• 回答または質問をランダムに破損させた場合、MPRは1%未満の低下にとどまり、対話コンテンツが画像特定に効果的に使われていないことを示唆している。
• 否定干渉により、性能低下はたった0.3%にとどまり、非協力的行動への感受性が低いことが示された。
• モデルの性能はほとんどの干渉条件下でも安定しており、エージェント間の協調性が弱く、初期キャプションに過剰に適合している可能性があることが明らかになった。
• キャプション干渉下では、モデルのランク付け性能が時間経過とともにわずかに向上したが、完全に回復しなかった。これは、損傷した初期コンテキストに起因する持続的な劣化を示している。