[論文レビュー] Dual Attention Networks for Visual Reference Resolution in Visual Dialog

Gi-Cheon Kang, Jaeseo Lim+1 more|arXiv (Cornell University)|Feb 25, 2019

Multimodal Machine Learning Applications参考文献 28被引用数 13

ひとこと要約

本稿では、視覚対話における視覚的参照解釈のためのデュアルアテンションネットワーク（DAN）を提案する。2つの専用アテンションモジュールを用いる：REFERは、マルチヘッド自己アテンションを用いて対話履歴の依存関係をモデル化し、曖昧な代名詞を解消する。FINDは、画像特徴量に対するボトムアップアテンションを用いて視覚的グランドイングを実行する。DANはVisDial v1.0およびv0.9で最先端の性能を達成し、先行手法を大きく上回った。

ABSTRACT

Visual dialog (VisDial) is a task which requires an AI agent to answer a series of questions grounded in an image. Unlike in visual question answering (VQA), the series of questions should be able to capture a temporal context from a dialog history and exploit visually-grounded information. A problem called visual reference resolution involves these challenges, requiring the agent to resolve ambiguous references in a given question and find the references in a given image. In this paper, we propose Dual Attention Networks (DAN) for visual reference resolution. DAN consists of two kinds of attention networks, REFER and FIND. Specifically, REFER module learns latent relationships between a given question and a dialog history by employing a self-attention mechanism. FIND module takes image features and reference-aware representations (i.e., the output of REFER module) as input, and performs visual grounding via bottom-up attention mechanism. We qualitatively and quantitatively evaluate our model on VisDial v1.0 and v0.9 datasets, showing that DAN outperforms the previous state-of-the-art model by a significant margin.

研究の動機と目的

• 対話履歴と視覚的文脈を用いて曖昧な代名詞（例：'it' や 'they'）を解釈する視覚的参照解釈を扱う。
• 2段階の人的な推論プロセスをモデル化する：まず対話履歴を用いて言語的曖昧性を解消し、次に解釈された参照を画像にグランドイングする。
• 言語的曖昧性解消と視覚的グランドイングの段階を明示的に分離・最適化することで、VisDialにおける性能を向上させる。
• 実世界の対話データを用いたアブレーションスタディおよび定性的分析を通じて、デュアルアテンションアーキテクチャの有効性を検証する。

提案手法

• REFERモジュールは、すべての過去の対話ターンに対してマルチヘッド自己アテンションを適用し、参照に敏感な表現を計算することで、現在の質問と対話履歴の間の潜在的関係を捉える。
• FINDモジュールは、REFERモジュールの参照に敏感な表現を条件として、ボトムアップアテンションを用いて画像特徴量に注目することで視覚的グランドイングを実行する。
• モデルはパイプライン形式で両モジュールを統合する：まずREFERが曖昧な参照を解消し、次にFINDが画像内の対応する領域を特定する。
• REFERモジュールは、深層ネットワークにおける訓練の安定化と性能向上を図るため、残差接続を採用する。
• FINDモジュールは、領域提案ネットワーク（RPN）から得られる特徴量を画像特徴量として使用しており、VGG-16特徴量よりも性能が優れていることが示された。
• ハイパーパramータのアブレーションとして、REFERのレイヤー数とアテンションヘッド数を変更し、モデル容量と性能の最適化を図った。

実験結果

リサーチクエスチョン

• RQ1 まず対話履歴を用いて言語的曖昧性を解消し、次に視覚にグランドイングする2段階のアテンション機構は、視覚的対話における参照解釈を改善できるか？
• RQ2 過去の視覚的アテンションマップに依存するモデルと比較して、REFERモジュールが対話履歴に注目できる能力は、どのように差を生じるか？
• RQ3 異なる画像特徴表現（例：RPN対 VGG-16）は、視覚的グランドイング性能にどのような影響を与えるか？
• RQ4 残差接続やマルチヘッドアテンションといったアーキテクチャ的選択は、モデル性能と安定性にどのように影響するか？
• RQ5 定性的なアテンション可視化により、モデルのアテンション機構が人間の推論とどの程度一致しているか？

主な発見

• DANはVisDial v1.0データセットで64.17%という新たな最先端のMRRスコアを達成し、先行手法を大きく上回った。
• アブレーションスタディの結果、FINDモジュールのみ、またはREFERモジュールでのみ使用した場合、顕著に性能が低下することが確認され、両モジュールの補完的役割が裏付けられた。
• ボトムアップアテンション特徴量（RPN）を用いることで、VGG-16特徴量よりも高いMRRが達成された。これは、オブジェクトレベルの特徴量が視覚的グランドイングに効果的であることを示している。
• REFERモジュールにおける残差接続の導入により性能が向上し、このアーキテクチャにおける深層残差学習の利点が裏付けられた。
• 最適な構成は、2層のREFERモジュールに4つのアテンションヘッドを組み合わせたものであり、アブレーション実験で最高のMRRを達成した。
• 定性的分析により、DANが関連する対話履歴のターンと顕著な画像領域に正しく注目していることが確認され、人間の推論と整合する推論を実現していることが示された。