[論文レビュー] Learning Cooperative Visual Dialog Agents with Deep Reinforcement Learning

Abhishek Das, Satwik Kottur+3 more|arXiv (Cornell University)|Mar 20, 2017

Multimodal Machine Learning Applications参考文献 31被引用数 91

ひとこと要約

この論文は、Q-botとA-botの協力的な画像推測ゲームを介して、視覚質問応答と対話のためのゴール駆動トレーニングを導入する。深層強化学習でエンドツーエンドに学習。

ABSTRACT

We introduce the first goal-driven training for visual question answering and dialog agents. Specifically, we pose a cooperative 'image guessing' game between two agents -- Qbot and Abot -- who communicate in natural language dialog so that Qbot can select an unseen image from a lineup of images. We use deep reinforcement learning (RL) to learn the policies of these agents end-to-end -- from pixels to multi-agent multi-round dialog to game reward. We demonstrate two experimental results. First, as a 'sanity check' demonstration of pure RL (from scratch), we show results on a synthetic world, where the agents communicate in ungrounded vocabulary, i.e., symbols with no pre-specified meanings (X, Y, Z). We find that two bots invent their own communication protocol and start using certain symbols to ask/answer about certain visual attributes (shape/color/style). Thus, we demonstrate the emergence of grounded language and communication among 'visual' dialog agents with no human supervision. Second, we conduct large-scale real-image experiments on the VisDial dataset, where we pretrain with supervised dialog data and show that the RL 'fine-tuned' agents significantly outperform SL agents. Interestingly, the RL Qbot learns to ask questions that Abot is good at, ultimately resulting in more informative dialog and a better team.

研究の動機と目的

• 視覚的に根拠のある対話AIを開発する動機付け。
• 一方のエージェントが質問を、もう一方が回答をして未見の画像を特定する協力的な二エージェント設定を提案。
• エンドツーエンドの深層RLが言語を grounding し、監視付きベースラインを超えて対話の質を向上させることを示す。

提案手法

• Q-bot（質問者）と A-bot（回答者）を用いた協調的な画像推測ゲームを定式化。
• 対話を離散的な自然言語トークンとして表現し、特徴回帰ネットワークを介して画像埋め込みへ予測を grounding。
• エンドツーエンドの深層RL（REINFORCE）を用いて、ピクセルからマルチラウンド対話への grounding predictor を報酬へ結びつけて両エージェントを訓練。
• Q-bot と A-bot のための二レベルの階層的エンコーダ–デコーダ方策を、共有トークン語彙で提供。
• 純粋な監督付き学習から、画像表現予測の改善を最大化することでゴール駆動最適化へ移行。
• 監督付き VisDial データで事前学習し、その後 RL で微調整して性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 二つの協力対話エージェントは人間の監督なしに視覚 grounding のための grounding コミュニケーションを学べるか。
• RQ2 監督付き事前学習の後に強化学習を適用することは、純粋な監督付き対話よりも画像推測性能を向上させるか。
• RQ3 未見の画像について情報利得を最大化するために、エージェントは質問と回答をどのように構築すべきか。

主な発見

• 合成の、Ungrounded な記号を用いた grounding 設定で、エージェントは記号を属性に関連付ける独自の言語マッピングを発明する。
• 実画像（VisDial）で、RL 微調整済みエージェントは監督付きベースラインより画像 grounding タスクで優れている。
• RL 学習済みの Q-bot は A-bot の得意分野と整合する質問戦略を学習し、より情報量の多い対話とより良いチーム性能をもたらす。
• 知覚が不完全でも、相互作用を通じてエンドツーエンドで grounded language が出現する。