[論文レビュー] Learning to Play Guess Who? and Inventing a Grounded Language as a Consequence

Emilio Jorge, Mikael Kågebäck+2 more|arXiv (Cornell University)|Nov 10, 2016

Topic Modeling参考文献 11被引用数 37

ひとこと要約

本論文では、Deep Recurrent Q-Networks (DRQN) を用いたマルチエージェント強化学習フレームワークを提案し、2体のエージェントが画像の視覚的特徴について議論することで、共同して意味的・記号的言語を学習できるようにする。エージェントは会話の履歴に適応する記憶拡張型でインタラクティブな対話システムを構築し、視覚的属性に根ざした離散的で文脈に依存する言語を考案する。訓練中にノイズを増加させることで学習速度と性能が向上することを示している。

ABSTRACT

Acquiring your first language is an incredible feat and not easily duplicated. Learning to communicate using nothing but a few pictureless books, a corpus, would likely be impossible even for humans. Nevertheless, this is the dominating approach in most natural language processing today. As an alternative, we propose the use of situated interactions between agents as a driving force for communication, and the framework of Deep Recurrent Q-Networks for evolving a shared language grounded in the provided environment. We task the agents with interactive image search in the form of the game Guess Who?. The images from the game provide a non trivial environment for the agents to discuss and a natural grounding for the concepts they decide to encode in their communication. Our experiments show that the agents learn not only to encode physical concepts in their words, i.e. grounding, but also that the agents learn to hold a multi-step dialogue remembering the state of the dialogue from step to step.

研究の動機と目的

• エージェントが視覚的環境内でのインタラクティブかつ状況に即した通信を通じて、共有され、意味的に根ざした言語を考案できるかどうかを調査すること。
• 事前に定義されたプロトコルや共有パラメータが存在しない状況で、離散的で記号的な通信を学習する課題に対処すること。
• エージェントが会話履歴に基づいてメッセージを適応させる記憶を用いた、複数ステップにわたる対話を可能にすること。
• 通信チャネルのノイズが、出現する言語獲得における学習速度と性能に与える影響を評価すること。
• Differentiable Inter-Agent Learning (DIAL) を、任意の次元の直交するメッセージへと一般化し、より豊かで解釈可能な言語を可能にすること。

提案手法

• エージェントは、会話の各ターンにわたって内部状態を維持できるように、ゲート付き再帰ユニット（GRUs）を用いたDeep Recurrent Q-Networks（DRQN）で訓練される。
• 通信は微分可能でノイズのあるチャネルとしてモデル化され、任意の次元の直交するメッセージを送信可能であり、大規模な語彙の言語の出現を可能にする。
• 訓練中に通信チャネルのノイズを段階的に増加させることで、離散的で記号的な通信を促進しつつ、訓練の安定性を維持する。
• エージェントは、ターゲットとなるキャラクターを特定するために、画像の視覚的特徴について交互に質問と回答を行うように変更されたGuess Who?をプレイする。
• 画像表現は、事前学習済み分類器に依存せず、rawピクセルからエンドツーエンドで学習されるため、真のエンドツーエンド訓練が可能になる。
• t-SNEの可視化を用いて、画像間の質問・回答パターンの類似性を測定することで、エージェントの通信の意味的構造を分析する。

実験結果

リサーチクエスチョン

• RQ1 エージェントは、視覚的環境内でのインタラクティブかつ意味的に根ざした通信を通じて、離散的で記号的な言語を考案できるか？
• RQ2 GRUsによる記憶の使用が、エージェントのマルチターン対話の継続性および文脈に基づく意味の適応能力に与える影響は何か？
• RQ3 通信チャネルのノイズを増加させることで、離散的で記号的な通信の出現と訓練効率が向上するか？
• RQ4 考案された言語が画像の視覚的特徴にどの程度根ざしているか、定量的に検証可能か？
• RQ5 DIALフレームワークを、任意の次元の直交するメッセージへと一般化できるか？また、これにより性能と解釈可能性が向上するか？

主な発見

• エージェントは、髪の色、顔のひげ、服などの視覚的属性にマッピングされる言語を考案することで、Guess Who?を成功裏にプレイする。
• エージェントは文脈に依存する通信を発展させる：第2の質問の93％が第1の回答に基づいて異なる。これは、記憶を用いた適応的かつインタラクティブな対話を示している。
• 訓練中にノイズを増加させることで、定常的ノイズよりも収束が速く、最終的な性能も向上する。これはノイズが記号的抽象化を支援している可能性を示唆している。
• t-SNEの可視化では、類似した視覚的特徴を持つ画像が、質問・回答パターンの類似性に基づいてクラスタリングされていることが確認され、言語の意味的根拠が裏付けられた。
• DIALを任意の次元の直交するメッセージへ一般化することで、システムの性能が向上し、二値または低次元のメッセージ空間と比較して解釈可能性も向上した。
• エージェント間のパラメータ共有なしに優れた性能を達成しており、より生物学的に現実的で分散型の学習設定を支持している。