[論文レビュー] Making History Matter: History-Advantage Sequence Training for Visual Dialog

Tianhao Yang, Zheng-Jun Zha+1 more|arXiv (Cornell University)|Feb 25, 2019

Multimodal Machine Learning Applications参考文献 47被引用数 13

ひとこと要約

本論文は、誤った歴史的応答が将来の応答に与える影響を明示的にモデル化することで、視覚対話応答生成を向上させる、強化学習にインspiredされた訓練パラダイムであるHistory-Advantage Sequence Training (HAST)を提案する。Gold Reward (GR) と悪影響を及ぼす批判者（Adverse Critic, AC）の報酬の差として計算される「History-Advantage（歴史的優位性）」信号を用い、モデルが対話履歴に対してより敏感になるように訓練する。VisDial v0.9/v1.0およびGuessWhat?!で、R@1が1ポイント向上し、MRRが1%向上するという最先端の性能を達成した。

ABSTRACT

We study the multi-round response generation in visual dialog, where a response is generated according to a visually grounded conversational history. Given a triplet: an image, Q&A history, and current question, all the prevailing methods follow a codec (i.e., encoder-decoder) fashion in a supervised learning paradigm: a multimodal encoder encodes the triplet into a feature vector, which is then fed into the decoder for the current answer generation, supervised by the ground-truth. However, this conventional supervised learning does NOT take into account the impact of imperfect history, violating the conversational nature of visual dialog and thus making the codec more inclined to learn history bias but not contextual reasoning. To this end, inspired by the actor-critic policy gradient in reinforcement learning, we propose a novel training paradigm called History Advantage Sequence Training (HAST). Specifically, we intentionally impose wrong answers in the history, obtaining an adverse critic, and see how the historic error impacts the codec's future behavior by History Advantage-a quantity obtained by subtracting the adverse critic from the gold reward of ground-truth history. Moreover, to make the codec more sensitive to the history, we propose a novel attention network called History-Aware Co-Attention Network (HACAN) which can be effectively trained by using HAST. Experimental results on three benchmarks: VisDial v0.9&v1.0 and GuessWhat?!, show that the proposed HAST strategy consistently outperforms the state-of-the-art supervised counterparts.

研究の動機と目的

• 従来の教師あり視覚対話訓練の限界、すなわち、真値の履歴にのみ依存し、誤った履歴が将来の応答に与える影響を教えることができない点を是正すること。
• 誤った回答の結果を模擬することで、共参照解消や文脈的推論における対話履歴へのモデルの感受性を高めること。
• 単なる監視を超えて誤りに気づいた学習を含む、会話の動的性質をよりよく捉える訓練パラダイムの開発。
• 視覚的および言語的表現の文脈内での整合性を高めるために、履歴に配慮した特徴を効果的に統合する、新しい注意メカニズムであるHistory-Aware Co-Attention Network (HACAN) の設計。
• HASTとHACANを組み合わせることで、VisDialおよびGuessWhat?!ベンチマークで最先端の性能を達成すること。

提案手法

• HASTは、正しい履歴からのGold Reward (GR) と、誤った回答を含む偽の履歴からの悪影響を及ぼす批判者（Adverse Critic, AC）の報酬の差として計算される、新しい訓練信号であるHistory-Advantage (HA) を導入する。
• モデルはHAを報酬信号として使用して訓練され、正のHAは誤った回答が将来のパフォーマンスに著しく悪影響を及ぼすことを示し、正しい応答の学習を強化する。
• Feature-Wise Co-Attention (FCA) およびElement-Wise Co-Attention (ECA) モジュールを組み合わせた、履歴に配慮したゲートを備えたHistory-Aware Co-Attention Network (HACAN) が提案されている。
• HACANは、対話履歴に基づいて動的に注意を調整する履歴に配慮したゲートを用い、文脈認識を強化する。
• 訓練プロセスでは、真値の応答を持つ1つの対話ストリームと、意図的に損傷させた応答を持つ別のストリームを並列に維持し、将来のラウンドにおけるHAを計算する。
• HASTは、序列モデルフレームワークにエンドツーエンドで適用され、モデルが対話履歴の誤りの長期的影響から学習できるようにする。

実験結果

リサーチクエスチョン

• RQ1 真値の監視に加えて、誤った対話履歴の影響を考慮して訓練した場合、モデルの性能はどのように変化するか？
• RQ2 誤った回答の結果を明示的に学習させることで、モデルは対話履歴に対してより感受性を示せるか？
• RQ3 History-Advantage信号は、視覚対話における推論および共参照解消にどの程度向上効果をもたらすか？
• RQ4 提案されたHACANアーキテクチャとHASTを組み合わせた場合、標準的な視覚対話ベンチマークで性能が向上するか？
• RQ5 対話履歴の誤りを含むゼロショットまたはフェイシュート設定において、モデルはどの程度一般化できるか？

主な発見

• HASTは、公式のVisDialオンラインチャレンジサーバーで、単一モデルとしての最先端性能を達成した。
• VisDial v1.0では、HACANにHASTを適用したモデルがR@1 51.20%を達成し、前回の最先端より1ポイント向上し、平均誤差が4.25で、前回比0.28ポイントの低下を記録した。
• VisDial v0.9では、MRRが0.6445、R@1が51.20%を達成し、HCIAE や HRED などのベースラインモデルを大きく上回った。
• アブレーションスタディの結果、HAST単体でもMRRで0.5ポイント、R@1で1ポイント以上向上し、HASTを含まないモデルと比較して優れた性能を示した。
• GuessWhat?!のガッサー・タスクでは、HACANにHASTを適用したモデルが33.2%のテスト誤差を記録し、LSTMベースのモデルを上回り、最高の先行手法と同等の性能を達成した。
• アブレーションの結果、HACANにおけるFCAおよびECAモジュールが両方とも不可欠であることが確認され、HASTを含まないHACANと比較して、平均誤差が0.88ポイント低下した。