[論文レビュー] Towards Solving Text-based Games by Producing Adaptive Action Spaces

Ruo Yu Tao, Marc-Alexandre Côté+2 more|arXiv (Cornell University)|Dec 3, 2018

Topic Modeling参考文献 15被引用数 5

ひとこと要約

本稿では、テキストベースのゲームにおける文脈に応じた適応的で文脈に配慮したアクション空間を生成するニューラルシーケンス・ツー・セット生成モデルを提案する。3つのエンコーダ・デコーダアーキテクチャ—ポインタ・ソフトマックスにビームサーチを組み合わせたもの、階層的RNNにポインタ・ソフトマックスを組み合わせたもの、および連結されたコマンド生成—を用いる。最も優れた性能を示したモデル（PS + Cat）は、ACGで96.5のF1スコア、ACGEで97.6のF1スコアを達成し、未観測の有効なコマンドに対しても高い正確性で一般化している。

ABSTRACT

To solve a text-based game, an agent needs to formulate valid text commands for a given context and find the ones that lead to success. Recent attempts at solving text-based games with deep reinforcement learning have focused on the latter, i.e., learning to act optimally when valid actions are known in advance. In this work, we propose to tackle the first task and train a model that generates the set of all valid commands for a given context. We try three generative models on a dataset generated with Textworld. The best model can generate valid commands which were unseen at training and achieve high $F_1$ score on the test set.

研究の動機と目的

• 強化学習の手法でしばしば無視されがちな、テキストベースのゲームにおいて有効で文脈依存的なテキストコマンドを生成する課題に対処すること。
• 固定されたアクション集合から選択するのではなく、ゲームの文脈とプレイヤーの所持品を入力として、許容可能なアクションの集合を出力する教師ありモデルを訓練すること。
• 未見の有効なコマンドを生成することで一般化性能を向上させ、エージェントがより効果的にゲームを探索・解決できるようにすること。
• 多様で正確かつ文脈的に関連性のあるコマンド集合を生成する能力について、3つのニューラルシーケンス・ツー・セット生成アーキテクチャを評価・比較すること。
• 強化学習ポリシーと統合可能な適応的コマンド生成の基盤を築くこと、以てテキストベースのゲームをエンド・ツー・エンドで解決すること。

提案手法

• モデルは、TextWorldを用いて生成された（文脈, アクション集合）ペアの教師ありデータセットで学習される。ここでのアクションは状態変更をもたらすコマンドとして定義される。
• 3つのアーキテクチャが評価される：(1) ポインタ・ソフトマックスにビームサーチを組み合わせたもの（PS + BS）、(2) 階層的RNNにポインタ・ソフトマックスを組み合わせたもの（HRED + PS）、(3) ポインタ・ソフトマックスに連結されたコマンドを組み合わせたもの（PS + Cat）。
• PS + Catモデルは、1つの出力シーケンス内に複数のコマンドを区切るセパレータトークンを用い、入力文脈に対するアテンションを介した同時デコードを可能にする。
• HRED + PSモデルは階層的デコード戦略を用い、セッションレベルの隠れ状態が集合内の各コマンドの生成を条件づける。
• PS + BSモデルはビームサーチにより固定数のコマンドを生成するが、これは柔軟性を制限し、ターゲットのコマンド数がビームサイズと異なる場合に過剰生成を引き起こす。
• すべてのモデルは、真のコマンド集合の対数尤度を最大化するように学習され、各アーキテクチャの構造に合わせた損失関数が適用される。

実験結果

リサーチクエスチョン

• RQ1 ニューラルシーケンス・ツー・セットモデルは、テキストベースのゲームの特定のゲーム文脈に対して、多様で有効なテキストコマンドを効果的に生成できるか？
• RQ2 F1スコア、既視コマンドと未視コマンドのリコール、および未視アクションへの一般化性能という観点から、異なるシーケンス・ツー・セット生成アーキテクチャはどのように比較できるか？
• RQ3 階層的デコードや連結コマンド生成を用いることで、固定ビームサイズのデコードに比べて性能が向上するか？
• RQ4 モデルは、特に複雑または制約の厳しいゲーム環境において、トレーニング時に見なかったコマンドに対してどの程度一般化できるか？
• RQ5 事前学習された埋め込み（例：GloVe）の導入は、コマンド生成タスクにおけるモデル性能にどのような影響を与えるか？

主な発見

• PS + Catモデルは、ACGデータセットで96.5のF1スコア、ACGEデータセットで97.6のF1スコアを達成し、HRED + PSおよびPS + BSを上回る最高の性能を示した。
• PS + Catモデルは、ACGで83.0%、ACGEで76.7%の未視コマンドリコールを達成し、トレーニング時に見なかったコマンドに対しても強力な一般化性能を示した。
• HRED + PSモデルはPS + BSより優れた性能を示したが、PS + Catに劣っており、複数のクエリが存在しない状況でゲーティング機構が勾配の流れを妨げたことが原因と考えられる。
• 固定ビームサイズのビームサーチ（PS + BS）は、実際のターゲットコマンド数と一致しない場合に過剰生成を引き起こし、正確なアライメントが取れず、F1スコアが低くなる。
• 事前学習済みGloVe埋め込みを削除しても、F1スコアは0.2%以下にしか低下しなく、モデルの性能が埋め込み初期化の不一致に対して頑健であることが示された。
• モデルは有効で未見のコマンドを多数生成しており、ビームサイズが期待されるアクション数と一致する場合、ビームサーチが多様性を高める助けになっている。