[論文レビュー] Asking the Difficult Questions: Goal-Oriented Visual Question Generation via Intermediate Rewards

Junjie Zhang, Qi Wu+4 more|arXiv (Cornell University)|Nov 21, 2017

Multimodal Machine Learning Applications参考文献 29被引用数 17

ひとこと要約

本稿では、目標志向型の視覚的質問生成フレームワークを、3つの中間報酬（目標達成、段階的進行、情報量）を用いた深層強化学習を用いて提案する。このフレームワークにより、物体同定を迅速化する簡潔で情報豊富な質問を生成する。提案手法は、ベースラインおよび最先端モデルと比較して、会話ラウンド数を削減し、質問の質を向上させることで、GuessWhat?!ベンチマークにおける成功確率を顕著に向上させる。

ABSTRACT

Despite significant progress in a variety of vision-and-language problems, developing a method capable of asking intelligent, goal-oriented questions about images is proven to be an inscrutable challenge. Towards this end, we propose a Deep Reinforcement Learning framework based on three new intermediate rewards, namely goal-achieved, progressive and informativeness that encourage the generation of succinct questions, which in turn uncover valuable information towards the overall goal. By directly optimizing for questions that work quickly towards fulfilling the overall goal, we avoid the tendency of existing methods to generate long series of insane queries that add little value. We evaluate our model on the GuessWhat?! dataset and show that the resulting questions can help a standard Guesser identify a specific object in an image at a much higher success rate.

研究の動機と目的

• 視覚的質問生成において、恣意的または反復的な質問ではなく、知的な目標志向型の質問を生成する課題に取り組むこと。
• 最終タスク報酬のみに依存するが、目標志向の最適化を欠いている既存のVQG手法の限界を克服すること。
• 中間報酬を通じて、簡潔で段階的に進行し、情報量の多い質問を明示的に促進する強化学習フレームワークを設計すること。
• GuessWhat?!ゲームにおける物体同定の成功確率を、効率性と情報量の最適化によって向上させること。

提案手法

• 視覚的質問生成を、ターゲットオブジェクトを会話で特定する必要があるGuessWhat?!ゲームの文脈で、目標志向のタスクとして定式化する。
• 3つの中間報酬を導入する：目標達成（早期の目標達成のため）、段階的進行（ターゲットオブジェクトに対する信頼度の上昇のため）、情報量（候補を区別する質問のため）。
• 報酬がポリシーを再設計することで、冗長または情報量の少ない質問を避けるように、深層強化学習エージェントを最適化する。
• 各質問の後にターゲットオブジェクトを正しく特定できる確率を測定することで、ゲッサーモデルを用いて質問の質を評価する。
• 報酬が速度、明確さ、情報量の増加のバランスを取るように、ポリシー勾配法を用いてエージェントをエンドツーエンドで訓練する。
• 個々の報酬と組み合わせた報酬を用いてエージェントを訓練することで、各中間報酬の寄与度を分離するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 強化学習フレームワークにおける中間報酬は、目標志向型の視覚的質問生成の質と効果性を向上させることができるか？
• RQ2 段階的進行報酬と情報量報酬は、視覚的対話における物体同定の効率性と正確性にどのように影響を与えるか？
• RQ3 複数の中間報酬を組み合わせることで、最終報酬のみに依存する手法に比べて、どの程度優れた性能を発揮するか？
• RQ4 VQGエージェントは、ベースラインおよび最先端モデルと比較して、より速く正確にターゲットオブジェクトを同定する質問を生成できるか？

主な発見

• 3つの中間報酬（目標達成、段階的進行、情報量）をすべて使用した本手法は、GuessWhat?!データセットにおけるターゲットオブジェクト同定の成功確率が最も高い。
• 目標達成報酬のみを用いたエージェントは、ベースラインおよび最先端のSole-rモデルを上回る性能を示し、早期の目標達成がより良い質問生成に強い信号を提供することを示している。
• 段階的進行報酬は情報量報酬よりも寄与度が高く、60.7%の質問が段階的進行の傾向を持つ一方、ベースラインは50.8%、Sole-rは57.3%であった。
• 情報量報酬により、すべての候補に対して同じ答えを返さない質問の割合が87.7%に上昇し、ベースライン（84.7%）およびSole-r（86.3%）を上回った。
• 人間による実験では、76%の被験者が本手法のエージェントが生成した質問を用いてターゲットオブジェクトを正しく特定したが、ベースライン（52%）およびSole-r（70%）と比較して顕著に優れた結果を示した。
• 特に3ラウンド目において、ターゲットに到達する会話ラウンド数が少なく、人間参加者の認知的負荷が低減され、より迅速な収束を示した。