[論文レビュー] Deep Reinforcement Learning with Stacked Hierarchical Attention for Text-based Games

Yunqiu Xu, Meng Fang+4 more|arXiv (Cornell University)|Oct 22, 2020

Topic Modeling参考文献 58被引用数 12

ひとこと要約

本稿では、テキストベースのゲームにおける明示的で解釈可能な推論を可能にする、知識グラフ（KGs）とスタックド階層的アテンション機構を統合した深層強化学習エージェント、SHA-KGを提案する。KGの部分グラフを用いて関係性と時間的意識をモデル化し、テキスト観測値と行動履歴の両方に多段階のアテンションを用いて重み付けすることで、ベンチマークゲームにおいて最先端のパフォーマンスを達成し、サンプル効率と最終スコアの両面で既存のエージェントを上回った。

ABSTRACT

We study reinforcement learning (RL) for text-based games, which are interactive simulations in the context of natural language. While different methods have been developed to represent the environment information and language actions, existing RL agents are not empowered with any reasoning capabilities to deal with textual games. In this work, we aim to conduct explicit reasoning with knowledge graphs for decision making, so that the actions of an agent are generated and supported by an interpretable inference procedure. We propose a stacked hierarchical attention mechanism to construct an explicit representation of the reasoning process by exploiting the structure of the knowledge graph. We extensively evaluate our method on a number of man-made benchmark games, and the experimental results demonstrate that our method performs better than existing text-based agents.

研究の動機と目的

• 既存のテキストベースのゲーム用強化学習エージェントに見られる推論能力の欠如に対処する。
• 知識グラフ（KGs）からの構造化された知識を活用することで、解釈可能でマルチステップの推論を可能にする。
• 関係性や時間的ニュアンスを捉えられない単一のKG表現の限界を克服する。
• 階層的アテンション機構を通じて、テキスト観測値、KG、行動履歴といったマルチモーダル入力を統合し、改善する。
• 知識に基づいた明示的な推論と意思決定を可能にする手法を開発し、一般化性能とパフォーマンスを向上させる。

提案手法

• 意味的役割（例：対象の位置、アイテムの種別、行動履歴）に基づいて知識グラフから動的サブグラフを構築し、関係性と時間的意識を符号化する。
• 2段階の処理を行うスタックド階層的アテンション機構を設計する：(1) 個々の入力モダリティ（例：観測値、インVENTORY、行動履歴）におけるローカルアテンション、(2) モダリティ間のグローバルアテンション。
• マルチヘッドアテンションを用いて、テキスト観測値、KGサブグラフ、履歴行動のアテンション重みを計算し、関連情報に注目できるようにする。
• 残差接続と層正則化を用いてアテンション出力を集約し、学習の安定化と表現学習の向上を図る。
• スパarsな報酬を伴う深層強化学習（例：DQN や PPO）を用いてエージェントを訓練し、方策ネットワークを階層的アテンション出力に条件づける。
• 環境の観測から新たな知識トリプルを抽出し、リアルタイムでKGを更新することで、最新の世界状態表現を維持する。

実験結果

リサーチクエスチョン

• RQ1 知識グラフを用いた明示的推論は、標準的なRLエージェントと比較して、テキストベースのゲーム環境におけるパフォーマンスを向上させるか？
• RQ2 テキスト、KG、行動履歴といったマルチモーダル入力に対する階層的アテンションは、部分観測的かつスパars報酬設定における意思決定をどのように向上させるか？
• RQ3 異なる意味的役割を表すKGのサブグラフは、推論と解釈可能性をどの程度向上させるか？
• RQ4 単純な連結処理や入力そのものへのアテンションと比較して、スタックドアテンション機構は、サンプル効率と最終スコアの面で優れているか？
• RQ5 多様で複雑なテキストベースのゲームに一般化可能であり、解釈可能な推論経路を維持できるか？

主な発見

• 提案されたSHA-KGエージェントは、複数のベンチマークテキストベースゲームで最先端のパフォーマンスを達成し、既存の学習ベースエージェントを上回った。
• モデルはサンプル効率が向上し、LSTM-DRQN や DRRN といったベースラインエージェントと比較して、より少ない訓練ステップで高いスコアに到達した。
• アテンション解析の結果、モデルは一貫して関連情報（例：対象の位置、インVENTORY内アイテム、最近の行動）に注目しており、時間経過に伴う効果的な推論が可能であることが示された。
• 知識グラフからのサブグラフの使用により、関係性や時間的変化（例：対象の移動、アイテムの取得）を追跡可能となり、意思決定の正確性が向上した。
• スタックド階層的アテンション機構は、観測値、インVENTORY、行動履歴といったモダリティ間でマルチモーダル入力を効果的にバランスさせており、アテンション重みが意味のある分布を示した。
• モデルは『multi』を『gores』にのせることなど、アイテムの合成やマルチステップパズルのナビゲーションといった複雑なタスクを正常に完了し、強固な推論能力を示した。