[論文レビュー] Using reinforcement learning to learn how to play text-based games

Mikuláš Zelinka|arXiv (Cornell University)|Jan 6, 2018

Artificial Intelligence in Games参考文献 1被引用数 10

ひとこと要約

本論文では、自然言語による状態および行動記述を用いてテキストベースのゲームを学習する強化学習エージェント、SSAAQNを提示する。LSTMおよび全結合層を通じて共有されたテキスト表現を活用することで、エージェントは複数のゲームにわたる強力な一般化および転移学習を達成し、先行モデルを上回る性能を示し、複数のゲームを同時に学習することで性能が向上し、複雑なゲーム『Machine of Death』においてほぼ最適な報酬を達成した。

ABSTRACT

The ability to learn optimal control policies in systems where action space is defined by sentences in natural language would allow many interesting real-world applications such as automatic optimisation of dialogue systems. Text-based games with multiple endings and rewards are a promising platform for this task, since their feedback allows us to employ reinforcement learning techniques to jointly learn text representations and control policies. We present a general text game playing agent, testing its generalisation and transfer learning performance and showing its ability to play multiple games at once. We also present pyfiction, an open-source library for universal access to different text games that could, together with our agent that implements its interface, serve as a baseline for future research.

研究の動機と目的

• 自然言語入力を用いてテキストベースのゲームを最適な方策を学習できる汎用的強化学習エージェントの開発を目的とする。
• 自然言語状態空間と行動空間を有する複雑な逐次的意思決定タスクとしてのテキストベースのゲームにおいて、強化学習エージェントの一般化および転移学習能力を調査することを目的とする。
• 多様なテキストゲームにアクセスするための統合的かつオープンソースのインターフェースを構築し、この分野における標準化された評価および今後の研究を可能にすることを目的とする。
• 複数のゲームを同時に学習することで、個別ゲームの学習と比較して性能向上および知識の転送が図られるかどうかを評価することを目的とする。
• 異なる言語的および構造的特性を有する複雑なゲーム環境に、単一のエージェントアーキテクチャが一般化できるかどうかの妥当性を評価することを目的とする。

提案手法

• エージェントであるSSAAQN（共有構造アーキテクチャを持つアクタ・クリティックネットワーク）は、単語埋め込み、シーケンス符号化のためのLSTM層、Q値予測のための全結合層を備えた共有ニューラルネットワークアーキテクチャを採用している。
• エージェントは、テキストベースのゲーム環境における学習の安定化を図るため、経験再生とターゲットネットワークの更新を用いた深層Qネットワーク（DQN）の原則を採用している。
• エージェントは、状態および行動記述をトークンのシーケンスとして処理し、共有埋め込みと共同作用関数を用いてQ値を計算している。
• 損失関数は、予測Q値とターゲットQ値の間の時系列差分誤差に基づいており、確率的勾配降下法とRMSPropを用いて最適化されている。
• エージェントは、学習中の探索と活用のバランスを図るため、減少するεのスケジュールを用いたε-greedy探索を採用している。
• pyfictionライブラリは、さまざまなテキストゲームへのアクセスとシミュレーションを可能にするユニバーサルインターフェースとして使用されており、複数の環境における標準化された評価を可能にしている。

実験結果

リサーチクエスチョン

• RQ1 異なる言語的および構造的特性を有する多様なテキストベースのゲームに、単一の強化学習エージェントが一般化できるか？
• RQ2 個別ゲームの学習と比較して、複数のゲームを同時に学習することで、性能向上および知識の転送が図られるか？
• RQ3 エージェントが、未学習のゲームへの一般化を支援する、ゲーム状態および行動の転送可能な表現をどの程度学習できるか？
• RQ4 報酬最大化および収束速度の観点から、先行研究と比較してエージェントの性能はどの程度か？
• RQ5 エージェントは、『Machine of Death』のような複雑で非決定的なゲームにおいて、ほぼ人間水準の性能を達成できるか？

主な発見

• SSAAQNエージェントは、『Machine of Death』ゲームでほぼ最適な平均報酬16.0を達成し、先行研究で報告された熟練した人間プレーヤーの性能を上回った。
• 特に非決定的である『Machine of Death』ゲームにおいて、複数のゲームを同時に学習することで性能が向上した。これは、効果的な知識の転送が実現されたことを示している。
• 共有表現を用いても、未学習のゲームへの一般化は依然として困難であり、テキストベースのゲームが方策の変更に非常に敏感であることに加え、ゼロショット転移の挑戦が顕著に現れている。
• 本研究でテストされた2つのゲームにおいて、SSAAQNはHeら（2015）のDRRNモデルの性能を上回ったか、同等の性能を達成した。これは、本モデルの有効性を裏付けている。
• pyfictionライブラリは、複数のテキストゲームへのユニバーサルアクセスを成功裏に実現し、今後のテキストゲームRL分野における代替ベースラインとしての有効性を示した。
• 結果から、現在のモデルは効果的な方策を学習できるものの、多様なテキストゲーム環境にわたる強力な一般化および転移学習を達成するには、依然として大きな課題が残っていることが示唆された。