[論文レビュー] How to Avoid Being Eaten by a Grue: Structured Exploration Strategies for Textual Worlds

Prithviraj Ammanabrolu, Ethan Tien+2 more|arXiv (Cornell University)|Jun 12, 2020

Topic Modeling参考文献 31被引用数 24

ひとこと要約

本論文では、知識グラフと内的動機付けを用いて、報酬の遅延とフィードバックの疎らさによって標準的な強化学習が困難なテキストベースのゲームにおけるボトルネック状態を検出し、克服するエージェントであるMC!Q*BERTを紹介する。これは、Zorkにおける有名なGrueボトルネックを解消する最初の知られている成功例であり、構造的探索とポリシー結合を組み合わせることで、9つのゲームにおいて先行する最先端のエージェントを上回る性能を達成した。

ABSTRACT

Text-based games are long puzzles or quests, characterized by a sequence of sparse and potentially deceptive rewards. They provide an ideal platform to develop agents that perceive and act upon the world using a combinatorially sized natural language state-action space. Standard Reinforcement Learning agents are poorly equipped to effectively explore such spaces and often struggle to overcome bottlenecks---states that agents are unable to pass through simply because they do not see the right action sequence enough times to be sufficiently reinforced. We introduce Q*BERT, an agent that learns to build a knowledge graph of the world by answering questions, which leads to greater sample efficiency. To overcome bottlenecks, we further introduce MC!Q*BERT an agent that uses an knowledge-graph-based intrinsic motivation to detect bottlenecks and a novel exploration strategy to efficiently learn a chain of policy modules to overcome them. We present an ablation study and results demonstrating how our method outperforms the current state-of-the-art on nine text games, including the popular game, Zork, where, for the first time, a learning agent gets past the bottleneck where the player is eaten by a Grue.

研究の動機と目的

• 報酬が疎らで遅延するテキストベースのゲームにおける課題に対処すること。標準的な強化学習エージェントは、組み合わせ的に大きな行動空間のため、効果的な探索が困難である。
• 報酬が直接与えられないが進行に不可欠な重要な意思決定ポイント（ボトルネック状態）を、ゲーム世界の構造的分析を用いて検出し、克服すること。
• ポリシーモジュールの連鎖を可能にすることで、依存関係を段階的に解消し、ゲームを進行させる。これにより、サンプル効率と探索の質を向上させること。
• 知識グラフの構築に基づく内的動機付けが、局所的に最適だがグローバルには劣る経路への過早な収束を回避できることを示すこと。

提案手法

• エージェントQ*BERTは、ゲーム状態について質問を投げかけ、場所とインベントリの依存関係を有向無閉路グラフ（DAG）の頂点としてエンコードすることで、知識グラフを構築する。
• MC!Q*BERTは、この知識グラフを用いて、特にゲームが直接報酬としない依存関係の解決を示す内的報酬を計算する。
• 依存関係グラフに対してトポロジカルソートを適用し、ある段階に唯一の頂点であり、より高い報酬の状態に先行する頂点をボトルネック状態として特定する。
• エージェントは、依存関係の満たしを促進する行動を優先する構造的探索戦略を採用し、内的報酬を用いて即時の報酬を超えた探索を誘導する。
• ポリシー結合を用いて、個々のボトルネックを解消するモジュラーなポリシーを組み合わせ、複雑な依存関係の鎖を段階的に通過可能にする。
• アブレーションスタディにより、内的動機付けと改善されたグラフ構築の必要性を評価し、両者の組み合わせが性能向上に不可欠であることが示された。

実験結果

リサーチクエスチョン

• RQ1 知識グラフから導出される内的動機付けは、報酬が疎らで遅延するテキストベースのゲームにおける探索を改善できるか？
• RQ2 知識グラフに基づく手法は、直接報酬が与えられないが進行に不可欠なボトルネック状態をどれほど効果的に検出できるか？
• RQ3 ポリシー結合による構造的探索は、組み合わせ的に大きな状態行動空間において、ε-greedyなどの標準的探索戦略を上回るか？
• RQ4 内的動機付けは、報酬が不適切に配置されたゲームにおいて、局所的に最適な経路への過早な収束をどれほど効果的に防げるか？

主な発見

• MC!Q*BERTは、ZorkにおけるGrueボトルネックに対する最初の知られている解決策を達成した。このボトルネックでは、光源がない状態で暗い地下室に入るとエージェントが食べられてしまう。
• 内的動機付けの導入により、ボトルネック検出の性能が著しく向上し、エッグを収集するか、地下室に過早に到達するような局所的に高い報酬を得る経路に収束するのを防げた。
• 内的動機付けを備えないエージェントは、ランタンを入手する方法や貯水池を空にする方法を学習できず、進行に不可欠な依存関係を満たせなかった。
• 改善された知識グラフ構築と内的動機付けの組み合わせにより、9つのテキストゲームにおいて、Q*BERTおよびKG-A2Cを上回る一貫した高い最大スコアが得られた。
• アブレーションスタディにより、グラフの改善や構造的探索の両方を個別に実施しても十分ではなく、両者の組み合わせがボトルネックの堅実な解消を可能にすることが確認された。
• 本手法は、報酬信号が疎らで欺瞞的である環境において、知識グラフに基づく内的報酬が探索を誘導する上で不可欠であることを示した。