[論文レビュー] DualVD: An Adaptive Dual Encoding Model for Deep Visual Understanding in Visual Dialogue

Xiaoze Jiang, Jing Yu+5 more|arXiv (Cornell University)|Nov 17, 2019

Multimodal Machine Learning Applications参考文献 29被引用数 8

ひとこと要約

DualVDは、可learntゲート機構を用いた階層的内モードおよび外モード特徴選択を介して、視覚的（外観レベル）および意味的（高レベルの抽象化）の両方の視点から画像表現を捉える、視覚対話のための新しい適応的二重符号化モデルを提案する。このモデルは、ベンチマークデータセットで最先端の性能を達成するとともに、注目度とゲート重みを介した可視化により、モダリティ貢献の解釈可能性を実現する。

ABSTRACT

Different from Visual Question Answering task that requires to answer only one question about an image, Visual Dialogue involves multiple questions which cover a broad range of visual content that could be related to any objects, relationships or semantics. The key challenge in Visual Dialogue task is thus to learn a more comprehensive and semantic-rich image representation which may have adaptive attentions on the image for variant questions. In this research, we propose a novel model to depict an image from both visual and semantic perspectives. Specifically, the visual view helps capture the appearance-level information, including objects and their relationships, while the semantic view enables the agent to understand high-level visual semantics from the whole image to the local regions. Futhermore, on top of such multi-view image features, we propose a feature selection framework which is able to adaptively capture question-relevant information hierarchically in fine-grained level. The proposed method achieved state-of-the-art results on benchmark Visual Dialogue datasets. More importantly, we can tell which modality (visual or semantic) has more contribution in answering the current question by visualizing the gate values. It gives us insights in understanding of human cognition in Visual Dialogue.

研究の動機と目的

• 視覚対話において、物体、関係性、および高レベルの意味論にわたる質問をカバーする包括的かつ質問適応型の画像表現を学ぶという課題に対処すること。
• 物体および関係性からの外観レベル特徴と、グローバルおよびローカルの画像キャプションからの意味レベル特徴を用いて、視覚的理解を二重の視点からモデル化すること。
• 内モードおよび外モードの特徴選択を通じて、質問に関連する視覚的および意味的ヒントを階層的かつ適応的に選択すること。
• ゲート値を介した可視化により、各質問に対する貢献度が視覚的か意味的かを明示的に可視化することで、モデル意思決定の解釈可能性を向上させること。
• 補完的マルチモodal表現学習を通じて、標準的な視覚対話ベンチマークで既存の最先端モデルを上回ること。

提案手法

• DualVDは二重符号化アーキテクチャを採用している：視覚モジュールはR-CNNベースの特徴を用いて物体および関係性特徴を捉え、意味モジュールはグローバルおよびローカルの画像キャプションを符号化して高レベルの意味を表現する。
• 内モード選択は、注目度メカニズムを用いて、視覚的および意味的特徴の両方で質問に関連する領域または概念を個別に同定する。
• 外モード選択は、現在の質問文脈に基づいて、視覚的および意味的特徴を学習可能なゲート機構を用いて適応的に統合する。
• 質問符号化のためのELMo埋め込みを統合することで、言語的文脈表現を豊かにする。
• 階層的特徴選択フレームワークは、回答予測の前に両モダリティからの関連情報の段階的精錬を実現する。
• ゲート機構により、モダリティ貢献の明示的可視化が可能となり、モデル意思決定の解釈可能性が向上する。

実験結果

リサーチクエスチョン

• RQ1 視覚対話システムは、複数の会話ターンにわたって、物体や関係性から高レベルの意味論に至るまでの多様な視覚的コンテンツを、どのようによりよく捉えることができるか？
• RQ2 視覚的および意味的表現の二重符号化は、一元的視覚特徴抽出と比較して、視覚対話性能にどの程度向上効果をもたらすか？
• RQ3 階層的かつ適応的な特徴選択メカニズムは、質問応答のための関連視覚的ヒントの関連性を向上させることができるか？
• RQ4 推論中に、モダリティ固有の貢献（視覚的対意味的）を定量的に測定・可視化する方法は何か？
• RQ5 二重の視点統合は、標準視覚対話ベンチマークデータセットにおける一般化性能およびロバストネスを向上させるか？

主な発見

• DualVDは、VisMod、RelRep、SemModを含む既存のモデルを上回る、標準的な視覚対話ベンチマークで最先端の性能を達成した。
• 視覚モジュールと意味モジュールを組み合わせた際の性能向上が顕著に見られ、補完的情報の獲得が裏付けられた。
• 物体および外観関連の質問では、ゲート値が高いため、視覚モジュールの貢献度が平均的により大きいことが示された。
• 関係性や抽象的概念を含む意味レベルの質問では、特に明示的なテキスト的キーワードがある場合、意味モジュールの貢献度がより大きくなった。
• アブレーションスタディの結果、DualVDの性能向上は主に新規の二重符号化視覚表現に起因しており、ELMo埋め込みによるものではないことが確認された。
• ゲート値および注目度マップの可視化により、DualVDが会話ターンに応じてモダリティ間の注目を動的にシフトしていることが明らかになった。これは、人間の認知的行動を模倣している。