[論文レビュー] Interactive Reinforcement Learning for Object Grounding via Self-Talking

Yan Zhu, Shaoting Zhang+1 more|arXiv (Cornell University)|Dec 2, 2017

Multimodal Machine Learning Applications参考文献 9被引用数 10

ひとこと要約

本稿では、質問生成者、応答モデル、推測者を共有報酬関数で共同学習するインタラクティブ強化学習（IRL）フレームワークを提示し、視覚的オブジェクトグランドイングの対話に応用する。この手法は、言語の逸脱を緩和し、生成された対話の解釈可能性を向上させる報酬工学を導入することで、タスク成功確率を著しく向上させ、GuessWhat?!ベンチマークで82.9%に到達した。

ABSTRACT

Humans are able to identify a referred visual object in a complex scene via a few rounds of natural language communications. Success communication requires both parties to engage and learn to adapt for each other. In this paper, we introduce an interactive training method to improve the natural language conversation system for a visual grounding task. During interactive training, both agents are reinforced by the guidance from a common reward function. The parametrized reward function also cooperatively updates itself via interactions, and contribute to accomplishing the task. We evaluate the method on GuessWhat?! visual grounding task, and significantly improve the task success rate. However, we observe language drifting problem during training and propose to use reward engineering to improve the interpretability for the generated conversations. Our result also indicates evaluating goal-ended visual conversation tasks require semantic relevant metrics beyond task success rate.

研究の動機と目的

• すべてのエージェント（質問生成者、応答モデル、推測者）を共同最適化することで、視覚的グランドイングにおける対話的かつ協調的な学習フレームワークを構築すること。
• 従来の手法が質問生成者のみをファインチューニングする一方で、他のモデルは固定しているという制限を解消すること。
• インタラクティブ強化学習の過程で生じる言語の逸脱問題（生成された対話が解釈不能になること）を軽減すること。
• タスク成功確率を損なわせることなく、報酬工学を用いて生成された対話の解釈可能性を向上させること。
• タスク成功確率のみでは、ゴール指向の視覚的会話システムの評価が不十分であることを示し、意味的品質指標の重要性を強調すること。

提案手法

• 動的環境下で強化学習を用い、質問生成者、応答モデル、推測者を共通の報酬関数により共同学習する。
• パラメータ化された推測者モデルを報酬関数として採用し、他のエージェントのポリシーが進化するに従い、動的に更新されるようにする。
• 質問生成者にグローバルドット積分注意機構を備えたseq2seqモデルを採用し、対話における長距離推論を向上させる。
• ヒューリスティックなプリーニングによる報酬工学を適用：繰り返し表現や類似したシーケンスを含む質問を削除することで、自然な言語パターンを強制する。
• 推論時には多項分布サンプリングを適用し、Adam最適化子（初期値学習率1e-4、バッチサイズ64）を用いてファインチューニングする。
• 学習の安定化と同等のベースライン性能の達成を図るため、強化学習によるファインチューニングの前に教師あり学習で事前学習を行う。

実験結果

リサーチクエスチョン

• RQ1 質問生成者、応答モデル、推測者をすべて共同で学習するインタラクティブ強化学習は、従来手法と比較して視覚的グランドイングにおけるタスク成功確率を顕著に向上させることができるか？
• RQ2 インタラクティブな学習過程で、どの程度言語の逸脱が生じるか、またそれが生成された対話の解釈可能性にどのように影響を与えるか？
• RQ3 不自然または冗長な会話のターンをプリーニングする報酬工学技術は、生成された会話の読みやすさと意味的品質を向上させることができるか？
• RQ4 タスク成功確率のみでゴール指向の視覚的会話システムを評価することは十分か、それとも追加の意味的指標が必要か？
• RQ5 質問生成者のみを学習するのではなく、応答モデルと推測者を共同で学習させることで、生成された応答の質と一貫性は向上するか？

主な発見

• 提案されたIRL QAGモデルは、GuessWhat?!ベンチマークで82.9%のタスク成功確率を達成し、従来の最高結果60.3%を著しく上回り、人間水準の性能（84.4%）に近づいた。
• IRL QAGモデルは深刻な言語の逸脱を示しており、人間によるアノテーションで59.0%の応答が人間の判断と一致しないと評価され、AI生成言語と自然言語との間に意味的ギャップがあることを示している。
• プリーニングによる報酬工学（IRL-prune QAG）により、質問の解釈可能性が向上し、平均的な質問品質ランクが4.98から3.53に改善されたが、タスク成功確率はわずかに低下（81.3%）した。
• IRL QAGの応答モデルは、「yes」や「no」がより適切な場合でも「n/a」の応答を多く生成しており、言語の逸脱による応答品質の低下を示している。
• 応答モデルと推測者を共同で学習させた（IRL AG）ことで、質問生成者のみを学習させる場合と比較して応答品質が向上し、質問と応答ポリシーの整合性が向上していることが示された。
• 人間評価により、インタラクティブRLで学習したモデルが生成する対話は、自然言語に比べて解釈性が低いことが確認され、タスク成功確率に加え、意味的評価が不可欠であることが浮き彫りになった。