[論文レビュー] Recursive Visual Attention in Visual Dialog

Yulei Niu, Hanwang Zhang+4 more|arXiv (Cornell University)|Dec 6, 2018

Multimodal Machine Learning Applications参考文献 40被引用数 5

ひとこと要約

本稿では、視覚対話エージェントが曖昧な質問（例：'彼らはついているか、消えているか？'）における視覚的共参照を解消できるように、対話履歴を再帰的に見直すことを可能にする、新しいアテンションメカニズムであるRecursive Visual Attention (RvA) を提案する。Gumbel-softmax緩和を用いたend-to-end学習と、推論と回答生成に分離された言語特徴量を活用することで、RvAはVisDial v0.9およびv1.0で最先端の性能を達成し、解釈可能で履歴に配慮したアテンションマップを生成するとともに、外部アノテーションへの依存を低減する。

ABSTRACT

Visual dialog is a challenging vision-language task, which requires the agent to answer multi-round questions about an image. It typically needs to address two major problems: (1) How to answer visually-grounded questions, which is the core challenge in visual question answering (VQA); (2) How to infer the co-reference between questions and the dialog history. An example of visual co-reference is: pronouns (\eg, ``they'') in the question (\eg, ``Are they on or off?'') are linked with nouns (\eg, ``lamps'') appearing in the dialog history (\eg, ``How many lamps are there?'') and the object grounded in the image. In this work, to resolve the visual co-reference for visual dialog, we propose a novel attention mechanism called Recursive Visual Attention (RvA). Specifically, our dialog agent browses the dialog history until the agent has sufficient confidence in the visual co-reference resolution, and refines the visual attention recursively. The quantitative and qualitative experimental results on the large-scale VisDial v0.9 and v1.0 datasets demonstrate that the proposed RvA not only outperforms the state-of-the-art methods, but also achieves reasonable recursion and interpretable attention maps without additional annotations. The code is available at \url{https://github.com/yuleiniu/rva}.

研究の動機と目的

• 複数ラウンドの視覚対話において、'彼ら' や 'それ' といった代名詞が画像上の対象および過去の対話履歴に紐づけられる視覚的共参照の解消を解決すること。
• すべての過去の視覚特徴を保存したり、すべてにアテンションを向けるのではなく、人間の選択的で再帰的な履歴の再評価を模倣するメカニズムの開発。
• Gumbel-Maxトリックと連続的緩和を用いた、離散的で再帰的な意思決定プロセスのend-to-end学習を可能にする。
• トピックに配慮した再帰と曖昧な参照の正確なグラウディングを反映した、解釈可能で信頼性の高いアテンションマップの生成。
• 共参照用の追加アノテーションを必要とせずに、視覚対話ベンチマークでの性能向上。

提案手法

• RvAフレームワークは、現在の質問の曖昧さが対話履歴の再訪問を必要としているかを評価する再帰的推論モジュールを用いる。
• 離散的再帰意思決定の微分可能学習を可能にするために、Gumbel-softmax緩和を適用する。
• 参照に配慮した言語特徴量が、代名詞や曖昧な参照の手がかりに基づき、どの対話履歴を再訪問すべきかをエージェントに導く。
• 回答に配慮した言語特徴量が、最終的な回答生成にどの画像特徴量を活性化すべきかを制御する。
• ペアモジュールにより、履歴に配慮したスキップが可能となり、関係のない対話のターンを飛ばし、曖昧な質問と意味的に関連する以前の発話とをペアリングできる。
• モデルは、視覚的特徴エンコーディングに領域提案ネットワーク（RPN）と、テキスト的特徴エンコーディングに双方向LSTMを統合する。

実験結果

リサーチクエスチョン

• RQ1 追加のアノテーションを必要とせずに、再帰的アテンションメカニズムが視覚対話における共参照の解消を改善できるか？
• RQ2 対話履歴の再帰的かつトピックに配慮した再評価は、単一ラウンドや全履歴アテンションと比較して、より信頼性が高く解釈可能な視覚的アテンションをもたらすか？
• RQ3 離散的再帰意思決定は、微分可能緩和技術を用いて効果的にend-to-endで学習可能か？
• RQ4 標準ベンチマーク（VisDial v0.9およびv1.0）において、SOTA手法と比較して、モデルの性能はどの程度か？
• RQ5 モデルの再帰的処理は、曖昧な参照を処理するにあたり、人間の推論にどの程度類似しているか？

主な発見

• RvAはVisDial v0.9で最先端の性能を達成し、平均逆順位（MRR）が0.5543に達し、CoAtt や CorefNMN を上回る。
• VisDial v1.0では、MRRが0.6634に達し、1位のリコール率が52.71%、5位が82.97%、10位が90.73%と、優れた検索性能を示している。
• 定性的分析では、89%の再帰的アテンションマップが曖昧な質問に対して妥当であるのに対し、質問誘導型アテンションではわずか56%にとどまる。
• エージェントは62%の対話セッションで共参照を正しく解消しており、代名詞や省略形の処理においても堅牢性を示している。
• ペアモジュールにより、履歴に配慮したスキップが可能である：正解の履歴が与えられた場合、無関係なターン（例：'no cord' における 'no'）を飛ばすが、偽の履歴が与えられた場合は最後のターンにデフォルトでペアリングする。
• アブレーションスタディの結果、RPNや再帰的アテンションを削除すると性能が著しく低下し、両者の重要性が裏付けられた。