[論文レビュー] Are You Talking to Me? Reasoned Visual Dialog Generation through Adversarial Learning

Qi Wu, Peng Wang+3 more|arXiv (Cornell University)|Nov 21, 2017

Multimodal Machine Learning Applications参考文献 41被引用数 16

ひとこと要約

本論文は、生成的敵対的ネットワーク（GANs）と逐次的共注意力メカニズムを統合した、より人間らしい視覚対話応答を生成する画期的な敵対的学習フレームワークを提案する。応答とその関連する注意に基づく推論を評価するためのディスクライマを訓練することで、生成器はより自然で文脈に根ざした答えを生成するようになり、VisDialベンチマークで先行手法よりも2.14%のrecall@5の向上を達成し、最先端の性能を発揮した。

ABSTRACT

The Visual Dialogue task requires an agent to engage in a conversation about an image with a human. It represents an extension of the Visual Question Answering task in that the agent needs to answer a question about an image, but it needs to do so in light of the previous dialogue that has taken place. The key challenge in Visual Dialogue is thus maintaining a consistent, and natural dialogue while continuing to answer questions correctly. We present a novel approach that combines Reinforcement Learning and Generative Adversarial Networks (GANs) to generate more human-like responses to questions. The GAN helps overcome the relative paucity of training data, and the tendency of the typical MLE-based approach to generate overly terse answers. Critically, the GAN is tightly integrated into the attention mechanism that generates human-interpretable reasons for each answer. This means that the discriminative model of the GAN has the task of assessing whether a candidate answer is generated by a human or not, given the provided reason. This is significant because it drives the generative model to produce high quality answers that are well supported by the associated reasoning. The method also generates the state-of-the-art results on the primary benchmark.

研究の動機と目的

• 最大尤度推定（MLE）に依存するため、応答が短く、一般化されすぎているという、既存の視覚対話モデルの限界を是正すること。
• 応答とその注意に基づく推論を両方評価する判別モデルを統合することで、敵対的学習を用いて応答品質を向上させること。
• 中間報酬と判別モデルのフィードバックを活用することで、生成器がより自然で文脈的に整合性のある、人間らしい対話を生成できるようにすること。
• 人間評価のチューリングテストに類似した人間研究を通じてモデルの人間らしさを評価し、VisDialにおける最先端手法と比較すること。

提案手法

• 逐次的共注意力メカニズムを用いて、画像特徴、質問埋め込み、対話履歴を同時に注目することで、文脈に根ざした表現を生成する。
• 生成器モデルは、共注意力によるマルチモーダル特徴に条件付けられたLSTMデコーダーを用いて応答系列を生成する。
• ディスクライマは、人間が生成した対話と機械が生成した対話の区別を学習し、生成器の注意重みを入力として受け取り、解釈可能性と推論根拠としての役割を果たす。
• 中間報酬はモンテカルロ探索を用いて計算され、ディスクライマからのグローバルおよび段階的フィードバックを統合して生成器をガイドする。
• 最終的なモデルは、敵対的学習後に教師強制を適用することで、生成品質をさらに安定化・向上させる。
• フレームワークは強化学習を用いて共同訓練され、ディスクライマの出力を報酬信号として生成器を最適化する。

実験結果

リサーチクエスチョン

• RQ1 敵対的学習は、最大尤度推定を上回る自然さと一貫性を有する視覚対話応答を改善できるか？
• RQ2 生成器の注意重みへのディスクライマのアクセスが、生成応答の品質と解釈可能性を向上させるか？
• RQ3 シーケンス生成中に中間報酬を提供することで、グローバル報酬のみに依存する場合と比較して、応答の多様性と流暢さが向上するか？
• RQ4 生成された応答が人間評価で人間の書いた対話と区別できない程度に達するか、その程度はどの程度か？
• RQ5 標準的なベンチマーク指標（例：recall@5と精度）において、提案手法は最先端のモデルと比較してどのように性能を発揮するか？

主な発見

• 提案されたCoAtt-GAN-w/ R_inte-TFモデルは、VisDial v0.9データセットで、以前に報告された最高結果よりも2.14%のrecall@5向上を達成した。
• 強力なMLEベースのベースラインであるCoAtt-G-MLEよりも、recall@5で1.87%向上し、敵対的学習の有効性を示した。
• 人間評価では、提案モデルが生成した応答の49%がチューリングテストに合格したが、ベースラインは46%、メモリネットワークモデルは39%であった。
• 人間評価者により、45%の応答が人間が書いた応答と同等以上であると判断され、高い人間らしさを示した。
• ディスクライマは生成された応答の70%を人間らしいと正しく分類し、50%のランダムチャンスの基準を大幅に上回った。これは、生成器がディスクライマをうまくだましたことを示している。
• アブレーションスタディにより、中間報酬（R_inte）が性能向上に最も寄与することが確認され、次に教師強制が平均で0.5%のさらなる向上をもたらした。