[論文レビュー] Language Understanding for Text-based Games Using Deep Reinforcement Learning

Karthik Narasimhan, Tejas Kulkarni+1 more|arXiv (Cornell University)|Jun 30, 2015

Topic Modeling参考文献 24被引用数 108

ひとこと要約

本論文では、ゲームの報酬のみをフィードバックとして用いて、テキストベースのゲームにおける意味的状態表現と制御方策を統合的に学習するエンドツーエンドの深層強化学習フレームワーク、LSTM-DQNを提案する。自然言語記述を意味のあるベクトル表現に変換するLSTMを用い、状態埋め込みを取得した後、深層Qネットワークで最適な行動を学習することで、bag-of-words や bag-of-bigrams と比較して顕著な性能向上を達成し、ファンタジーMUDゲームで96%のクエスト完了率を達成した。

ABSTRACT

In this paper, we consider the task of learning control policies for text-based games. In these games, all interactions in the virtual world are through text and the underlying state is not observed. The resulting language barrier makes such environments challenging for automatic game players. We employ a deep reinforcement learning framework to jointly learn state representations and action policies using game rewards as feedback. This framework enables us to map text descriptions into vector representations that capture the semantics of the game states. We evaluate our approach on two game worlds, comparing against baselines using bag-of-words and bag-of-bigrams for state representations. Our algorithm outperforms the baselines on both worlds demonstrating the importance of learning expressive representations.

研究の動機と目的

• 状態が直接観測できないテキストベースのゲームをプレイする課題に対処すること。
• 事前にラベル付けされた状態ラベルに依存せず、生のテキスト記述から表現力があり意味的に意味のある状態表現を直接学習すること。
• ゲームの報酬のみをフィードバックとして用いて、方策と表現学習を統合的に学習し、部分的に観測可能な環境でもエンドツーエンド学習を可能にすること。
• 学習された表現が異なるゲームワールド間で転送可能かどうかを評価すること。
• LSTMを用いた深層強化学習が、従来のbag-of-words や bag-of-bigrams ベースラインよりも性能を向上させるかどうかを実証すること。

提案手法

• ゲームをマークフ・決定過程（MDP）としてモデル化し、報酬を唯一のフィードバック信号として使用する深層強化学習フレームワークを採用する。
• 二本のストリームを持つニューラルネットワークを採用：LSTMエンコーダーが自然言語記述を密なベクトル表現（状態埋め込み）に変換し、順方向ネットワークが状態埋め込みに基づいて行動のスコアを算出する。
• 経験再生とターゲットネットワークを用いてQネットワークを訓練し、サンプル効率を向上させるために優先順位付き経験再生を適用する。
• 時系列差分損失関数を用いて、バックプロパゲーションによりLSTMとQネットワークのパラメータをエンドツーエンドで学習する。
• 転移学習を活用し、ソースゲームワールドで事前学習されたパラメータでLSTMエンコーダーを初期化することで、構造的に異なる新しいゲームワールドでの学習を加速する。
• 学習された単語埋め込みの意味的構造を分析するためにt-SNE可視化を適用し、表現品質を評価するためにコサイン類似度を用いる。

実験結果

リサーチクエスチョン

• RQ1 生のテキスト記述から、明示的な状態ラベルなしに意味的状態表現を学習できるか？
• RQ2 ゲーム報酬のみを用いて方策と表現を統合的に学習することで、bag-of-words や bag-of-bigrams のような手作業で作成された表現よりも高い性能が得られるか？
• RQ3 一つのゲームワールドで学習した言語表現が、構造的に異なる新しいゲームワールドに効果的に転送可能か？
• RQ4 学習されたベクトル表現が、クエストの目標と環境オブジェクトの間の関連性といった、意味的に意味のある関係を捉えているか？
• RQ5 経験サンプリング戦略の選択（一様サンプリング対優先順位付きサンプリング）が、この設定における学習速度と収束に与える影響は？

主な発見

• LSTM-DQNモデルは、ファンタジーMUDゲームで96%のクエスト完了率を達成し、bag-of-wordsベースライン（82%）およびランダムベースライン（5%）を顕著に上回った。
• 優先順位付き経験サンプリングの使用により、学習が加速され、一様サンプリングに比べて最適方策に到達するまでに約50エポック早く到達した。
• ソースゲームワールドで事前学習されたLSTMパラメータを用いた転移学習により、構造的に異なる新しいゲームワールドで最適性能に到達するまでの訓練エポック数が、約20エポック減少した。
• 学習された単語埋め込みのt-SNE可視化から、意味的に関連する単語（例：'kitchen'（台所）、'pizza'（ピザ）、'hungry'（お腹がすいた））がクラスタを形成する一貫性のある意味的サブスペースが確認され、モデルが意味的な関連性を学習していることが示された。
• 表2に示す近隣探索分析により、意味的に類似したゲーム記述（例：近隣状態）が埋め込み空間内で近くにマッピングされていることが確認された。
• 学習された表現は言語的ばらつきに強く、状態の本質的な意味を捉えており、明示的な状態観測が存在しない状況下でも正確な方策学習を可能にした。