[論文レビュー] Language Expansion In Text-Based Games

Ghulam Ahmed Ansari, Sagar J. P+2 more|arXiv (Cornell University)|May 17, 2018

Topic Modeling参考文献 14被引用数 7

ひとこと要約

本稿では、複数の専門的な教師エージェントから知識を転送することで、複数のテキストベースのゲームをプレイできる1つのLSTM-DQNエージェントを訓練するためのポリシー蒸留手法を提案する。この手法により、多様な語彙を持つゲーム間で完全で双方向の言語拡張が可能となり、マルチタスク学習や標準的な転移学習を凌駕する。蒸留されたエージェントはテストゲームで100％のクエストを達成した一方で、意味的に明確な語彙表現を学習する。

ABSTRACT

Text-based games are suitable test-beds for designing agents that can learn by interaction with the environment in the form of natural language text. Very recently, deep reinforcement learning based agents have been successfully applied for playing text-based games. In this paper, we explore the possibility of designing a single agent to play several text-based games and of expanding the agent's vocabulary using the vocabulary of agents trained for multiple games. To this extent, we explore the application of recently proposed policy distillation method for video games to the text-based game setting. We also use text-based games as a test-bed to analyze and hence understand policy distillation approach in detail.

研究の動機と目的

• 複数のテキストベースのゲームをプレイできる1つのエージェントを設計し、ゲーム間で双方向の知識転送を実現すること。
• ゲームの語彙が異なる、重複する、あるいは矛盾する場合に、ポリシー蒸留がエージェントの言語語彙を効果的に拡張できるかどうかを調査すること。
• エージェントの内部でポリシー蒸留がどのように機能するかを、表現と制御モジュールの可視化を通じて分析すること。
• 学習速度とパフォーマンスの観点から、マルチタスク学習や標準的な転移学習と比較して、ポリシー蒸留がどのように機能するかを評価すること。
• 共有語彙を持つ未観測の新しいゲームにおいて、蒸留された語彙埋め込みの転移学習への有用性を評価すること。

提案手法

• 各ゲームに固有の語彙を持つ別々のLSTM-DQN教師エージェントを、個々のテキストベースのゲームで学習する。
• ポリシー蒸留を用いて、共有表現層とゲーム固有の出力ヘッドを持つ1つの学生ネットワークに、これらの教師のQ値ポリシーを転送する。
• 教師の出力層に温度調整付きソフトラベル（softmax(q^T / τ)）を用い、学生の出力層の学習ターゲットとする。
• ゲームラベルを用いて、入力を適切なアクションおよびオブジェクト出力モジュールにルーティングする。
• 各ゲームごとに別々のメモリバッファを維持し、1つのゲームからのサンプルを順次学習する。
• ヒートマップを用いて内部表現を可視化し、ポリシー蒸留が語彙埋め込みとポリシー意思決定にどのように影響を与えるかを分析する。

実験結果

リサーチクエスチョン

• RQ1 複数のゲーム固有のエージェントから知識を効果的に転送し、すべてのゲームをプレイできる統合された1つのエージェントを実現できるか？
• RQ2 ゲームの状態ダイナミクスが矛盾する、または語彙が重複するが同一でない場合、ポリシー蒸留はどの程度の性能を示すか？
• RQ3 蒸留されたエージェントは、ランダムやマルチタスク初期化された埋め込みとは異なり、意味的に明確な語彙埋め込みを学習するか？
• RQ4 未観測の新しいゲームにおいて、蒸留エージェントのパフォーマンスはマルチタスク微調整や標準的な転移学習と比べてどうなるか？
• RQ5 訓練中の蒸留エージェントの内部表現を可視化することで、どのような知見が得られるか？

主な発見

• ポリシー蒸留手法はテストゲームで100％のクエスト達成を達成し、マルチタスクLSTM-DQN（約30％のクエスト達成）を大きく上回った。
• 学生ネットワークで学習した埋め込みを使用した蒸留エージェント（A₄）は、すべての教師埋め込みを同時に使用したA₆よりも優れた性能を示し、知識統合の質が優れていることを示した。
• 学生ネットワークは意味的に明確な語彙埋め込みを学習しており、類縁語がベクトル空間上でクラスタリングされるのに対し、マルチタスク学習によるランダムに近い埋め込みとは対照的であった。
• 蒸留された学生エージェントの埋め込みを用いた転移学習は、個々の教師エージェントやランダム初期化の埋め込みを用いる場合よりも、収束が速く、パフォーマンスも優れていた。
• 可視化により、ポリシー蒸留がエージェントの表現モジュールおよび制御モジュールの両方で一貫性があり解釈可能な表現を生み出すことで、学習を安定化させていることがわかった。
• 本手法により、語彙が異なるゲーム間で完全で双方向の言語拡張が実現され、エージェントにおける継続的かつオンラインでの言語学習の可能性を示した。