[論文レビュー] Comprehensible Context-driven Text Game Playing

Xusen Yin, Jonathan May|arXiv (Cornell University)|May 6, 2019

Topic Modeling参考文献 20被引用数 11

ひとこと要約

この論文では、Zorkのようなテキストベースのゲームで学習を高速化し、性能を向上させるために、位置埋め込みと従属構文解析による文の再順序付けを組み込んだCNNベースのDQNエージェントを提案する。最大プーリングを用いたCNNを自己注意機構として利用し、繰り返し失敗した行動に対するペナルティを課す報酬形状技術を適用することで、100万ステップ（約10時間）で最先端のスコアを達成し、LSTMベースのアプローチと比較して収束時間を1桁短縮した。

ABSTRACT

In order to train a computer agent to play a text-based computer game, we must represent each hidden state of the game. A Long Short-Term Memory (LSTM) model running over observed texts is a common choice for state construction. However, a normal Deep Q-learning Network (DQN) for such an agent requires millions of steps of training or more to converge. As such, an LSTM-based DQN can take tens of days to finish the training process. Though we can use a Convolutional Neural Network (CNN) as a text-encoder to construct states much faster than the LSTM, doing so without an understanding of the syntactic context of the words being analyzed can slow convergence. In this paper, we use a fast CNN to encode position- and syntax-oriented structures extracted from observed texts as states. We additionally augment the reward signal in a universal and practical manner. Together, we show that our improvements can not only speed up the process by one order of magnitude but also learn a superior agent.

研究の動機と目的

• テキストベースのゲームにおけるLSTMベースのDQNエージェントの収束が遅いため、数十日もかかる学習を改善すること。
• LSTMエンコーダーを置き換えることで、より高速で文脈に配慮したCNNを導入し、学習効率と最終的な性能を向上させること。
• 従属構文解析を用いて文の順序を再編成することで、文法的に関連する要素を空間的に近接させ、状態表現を強化すること。
• 繰り返し失敗する行動によるエージェントの探索非効率性を、新しい負の報酬ペナルティ機構で低減すること。
• アーキテクチャの改善と報酬形状を組み合わせることで、複雑なテキストベースの環境でもより速く、より効果的に学習が可能になることを示すこと。

提案手法

• ゲームの文脈文から位置的・構文的特徴を抽出するために、最大プーリングを用いた畳み込みニューラルネットワーク（CNN）をテキストエンコーダーとして使用する。
• 順序の流れを保つために、トラジェクトリに沿った位置埋め込みを適用し、モデルの文脈の理解を向上させる。
• 従属構文解析器を用いて文の順序を再編成し、文法的に関連する語が空間的に近接するようにすることで、特徴学習を強化する。
• 繰り返し失敗した行動に対して、累積ペナルティとして-0.1を割り当てることで報酬形状を工夫し、無駄な行動を抑制する。
• CNNエンコーダーとDeep Q-Network（DQN）フレームワークを組み合わせ、テキストベースのゲームプレイに特化したエンドツーエンドのエージェントを学習する。
• 最大プーリングを自己注意機構として活用することで、明示的な注意機構なしに、文脈内の重要語句に注目できる。

実験結果

リサーチクエスチョン

• RQ1 CNNベースのテキストエンコーダーは、テキストベースのゲームエージェントにおいて、LSTMを上回る学習速度と最終的性能を達成できるか？
• RQ2 従属構文解析による文の文法的再順序付けは、学習効率と収束時間にどのような影響を与えるか？
• RQ3 繰り返し失敗した行動に基づく報酬形状は、学習の安定性を高め、探索非効率性をどの程度低減できるか？
• RQ4 位置埋め込みをCNNエンコーダーと組み合わせることで、標準的なシーケンスエンコーディングよりも優れた状態表現が得られるか？
• RQ5 CNNのような高速で再帰的でないエンコーダーは、複雑なテキストベースのゲームにおいて、LSTMのような再帰モデルと同等かそれ以上の性能を達成できるか？

主な発見

• 最大プーリングと位置埋め込みを備えたCNNベースのDQNエージェントは、100万ステップの学習でZorkで40点の最終スコアを達成し、最先端の性能を再現した。
• 学習時間は1桁短縮され、LSTMベースのDQNと比較して、約10時間でSOTA結果を達成した。
• 従属構文解析による文の再順序付けにより収束時間が半減し、報酬形状と組み合わせた場合、学習ステップは約100万から約50万に減少した。
• 繰り返し失敗した行動に対するペナルティにより、無駄な行動の割合が8.73％から3.51％に低下し、著しく学習効率が向上した。
• CNN内の最大プーリング層が暗黙の自己注意機構として機能し、文脈内の重要な意味的要素に注目できるようになった。
• CNNエンコーディング、従属構文解析、位置埋め込み、報酬形状の組み合わせにより、相乗効果が得られ、従来のLSTMベースやCNN単体のアプローチを上回る性能を発揮した。