[論文レビュー] Modality-Balanced Models for Visual Dialogue

Hyounghun Kim, Hao Tan+1 more|arXiv (Cornell University)|Jan 17, 2020

Multimodal Machine Learning Applications参考文献 26被引用数 6

ひとこと要約

本論文は、会話履歴への過剰依存を是正するため、画像のみのモデルと画像-履歴連合モデルを組み合わせることで、Visual Dialog用のモダリティバランスモデルを提案する。コンSENSUSドロップアウト統合とアンサンブル手法を用いることで、Visual Dialog 2019のリーダーボードで最先端の性能を達成し、NDCG、MRR、再現率の各指標においてバランスの取れたスコアを維持しながら、2018年の優勝モデルを大多数の指標で上回った。

ABSTRACT

The Visual Dialog task requires a model to exploit both image and conversational context information to generate the next response to the dialogue. However, via manual analysis, we find that a large number of conversational questions can be answered by only looking at the image without any access to the context history, while others still need the conversation context to predict the correct answers. We demonstrate that due to this reason, previous joint-modality (history and image) models over-rely on and are more prone to memorizing the dialogue history (e.g., by extracting certain keywords or patterns in the context information), whereas image-only models are more generalizable (because they cannot memorize or extract keywords from history) and perform substantially better at the primary normalized discounted cumulative gain (NDCG) task metric which allows multiple correct answers. Hence, this observation encourages us to explicitly maintain two models, i.e., an image-only model and an image-history joint model, and combine their complementary abilities for a more balanced multimodal model. We present multiple methods for this integration of the two models, via ensemble and consensus dropout fusion with shared parameters. Empirically, our models achieve strong results on the Visual Dialog challenge 2019 (rank 3 on NDCG and high balance across metrics), and substantially outperform the winner of the Visual Dialog challenge 2018 on most metrics.

研究の動機と目的

• 現在のVisual Dialog用マルチモーダルモデルが会話履歴に過剰に依存している理由を調査し、NDCGなどの一般化指標における性能低下の原因を明らかにすること。
• Visual Dialogタスクにおいて、画像のみのモデル（一般化性能に優れる）と画像-履歴連合モデル（精度に優れる）の相補的な強みを分析すること。
• 両方のモデルタイプを統合することで、複数の評価指標において優れたかつバランスの取れた性能を達成するバランスの取れたマルチモーダルモデルを開発すること。
• 会話履歴への依存を軽減することで一般化性能が向上することを実証的に検証すること、特に複数の正解を類似度重みで扱うNDCGにおいて顕著である。
• コンセンサスドロップアウト統合とアンサンブル手法といった統合技術を提案・評価し、画像のみのモデルと連合モデルを効果的に統合すること。

提案手法

• 会話履歴に依存せず、視覚特徴のみを用いて質問に答える専用の画像のみのモデルを訓練し、会話パターンの記憶を減らすことでNDCGで優れた性能を示す。
• 会話履歴の長さを変化させながら画像-履歴連合モデルを訓練し、履歴依存性がモデルの挙動と評価スコアに与える影響を分析する。
• コンセンサスドロップアウト統合を実装し、訓練中に画像のみのモデルと連合モデルの出力ログティスにドロップアウトを適用することで、多様性を促進し、履歴パターンへの過剰適合を軽減する。
• 3つの画像のみのモデルと3つの連合モデルを用いたアンサンブル学習により予測を統合し、各モデルタイプの相補的強みを活かす。
• 訓練中に会話履歴特徴をランダムにドロップアウトするラウンドドロップアウトを適用し、記憶の回避を促進し、異なる文脈長に対する耐性を向上させる。
• ドロップアウト率（0.25に選定）を最適化することで、NDCGとMRR・recall@kなどの精度指向指標の両方の性能をバランスよく向上させる。

実験結果

リサーチクエスチョン

• RQ1 現在のVisual Dialogモデルは、会話履歴にどの程度過剰に依存しているのか。また、その依存度は、一般化性能と精度指標の間でどのように影響を及えるのか。
• RQ2 NDCGとMRR・recall@kの両方の指標において、画像のみのモデルと画像-履歴連合モデルの性能はどのように比較されるのか。
• RQ3 コンセンサスドロップアウト統合やアンサンブル手法を用いて画像のみのモデルと連合モデルを統合することで、すべての指標においてよりバランスの取れた性能向上が達成できるか。
• RQ4 訓練中にラウンドドロップアウトを適用することで、会話履歴パターンの記憶が軽減され、連合モデルの一般化性能が向上するか。
• RQ5 NDCG、MRR、再現率指標のすべてにバランスの取れた性能を最大化する最適な統合戦略（例：ドロップアウト率、モデルの組み合わせ）は何か。

主な発見

• 画像のみのモデルは、VisDial v1.0テストセットでNDCGスコア57.81を達成し、連合モデルを上回った。これは、履歴記憶の回避による一般化性能の向上を示している。
• ドロップアウト率0.25のコンセンサスドロップアウト統合モデルは、NDCGスコア59.93を達成し、ベースモデル比で2.12ポイント向上。MRRと再現率指標においても高い性能を維持した。
• 画像のみと連合モデルを統合したアンサンブルモデル（Img+Joint）は、NDCG61.50、MRR65.04を達成し、2018年Visual Dialogコンテスト優勝モデルを大多数の指標で上回った。
• Img+Imgアンサンブル（3つの画像のみのモデル）は最高のNDCG（61.97）を記録した一方、Joint+Jointアンサンブルは最高のMRR（65.60）を達成した。これにより、2つのモデルタイプの相補性が裏付けられた。
• ラウンドドロップアウトはNDCGを1.2ポイント向上（58.97 → 60.11）させ、会話履歴パターンへの過剰適合を軽減することで耐性を向上させた。
• 最終的なコンセンサスドロップアウト統合モデルは、Visual Dialog 2019リーダーボードで3位を達成。2018年のコンテスト優勝モデルを大多数の指標で上回りながら、すべての評価基準でバランスの取れたスコアを維持した。