[論文レビュー] Active Exploration for Learning Symbolic Representations

Garrett Andersen, George Konidaris|PubMed|Sep 5, 2017

Artificial Intelligence in Games参考文献 21被引用数 9

ひとこと要約

本稿では、複雑な環境における計画のための記号的表現を学習する際のデータ効率を向上させる2段階のアクティブな探索アルゴリズムを提案する。不確実性を標的とするベイジアン記号的モデル推論とモンテカルロ木探索（MCTS）を組み合わせることで、ランダム探索やグリーディ探索に比べて、アスタロイドに類似したゲームおよびトレジャーゲームの両方で、記号的遷移のカバー範囲が著しく向上した。

ABSTRACT

We introduce an online active exploration algorithm for data-efficiently learning an abstract symbolic model of an environment. Our algorithm is divided into two parts: the first part quickly generates an intermediate Bayesian symbolic model from the data that the agent has collected so far, which the agent can then use along with the second part to guide its future exploration towards regions of the state space that the model is uncertain about. We show that our algorithm outperforms random and greedy exploration policies on two different computer game domains. The first domain is an Asteroids-inspired game with complex dynamics but basic logical structure. The second is the Treasure Game, with simpler dynamics but more complex logical structure.

研究の動機と目的

• 連続的で高次元の環境において、生のセンサリデータから高レベルの記号的モデルを学習する際のデータ非効率性という課題に対処すること。
• 以前に収集したデータを活用して、将来の探索を状態空間の不確実な領域に向かせるオンラインのアクティブ探索戦略を開発すること。
• 手作業による抽象化なしに、エージェントがオプション効果（例：成功確率など）の記号的表現を自律的に学習できること。
• 記号的モデル学習に有用な情報を迅速に取得することで、計画の効率を向上させること。
• アクティブな探索がランダム探索およびグリーディ探索に比べて、データ効率およびモデルカバー範囲の面で優れていることを実証すること。

提案手法

• アルゴリズムはまず、収集したデータから確率的記号表現を用いて、連続的状態の分布をコンactに表現する中間のベイジアン記号的モデルを構築する。
• 2番目のコンponentは、情報量の増加を最大化するように行動を選択するモンテカルロ木探索（MCTS）を用い、現在の記号的モデルが不確実性が高い状態領域に焦点を当てて探索を進める。
• エージェントはオプションの実行を通じてデータを収集し、状態遷移、報酬、終了条件を観測することで、記号的モデルを反復的に改善する。
• 記号的モデルは、位置、オブジェクトの状態、および記号的条件（例：'ロック中'、'キー所持'）などの環境の主要要因を捉え、高レベルの計画を可能にする。
• 本手法は、オプションの開始集合、方策、終了条件をモデル化する半マルコフ決定過程（SMDP）フレームワーク内で動作する。
• 探索は記号的モデルの不確実性に基づき、MCTSが情報量の増加を最大化するように探索と活用のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 記号的モデルにおける不確実性を基盤としたアクティブな探索が、抽象的表現の学習をより速く、かつデータ効率よく行えるか？
• RQ2 複雑なダイナミクスや論理を有する環境において、アクティブな探索はランダムおよびグリーディ探索に比べて、記号的遷移のカバー範囲でどのように異なるか？
• RQ3 収集したデータからベイジアン記号的モデルをどれほど迅速に更新できるか？
• RQ4 複雑なダイナミクスと複雑な論理のどちらの環境において、アクティブな探索がデータ効率の向上に最も寄与するか？
• RQ5 アクティブな探索によって学習された記号的表現は、行動列の成功確率を正確にモデル化でき、信頼性のある計画を可能にするか？

主な発見

• アスタロイド領域では、提案手法はランダムまたはグリーディ方針よりも2〜3倍少ないオプション実行回数で、全115の可能な記号的遷移を観測した。
• トレジャーゲームでは、ランダムまたはグリーディ方針よりもはるかに少ない実行回数で全240の記号的遷移を観測し、より効率的に完全カバーした。
• アクティブな探索を用いたエージェントは、200回のオプション実行後に100％の確率で宝を入手したが、ランダムおよびグリーディ方針では多くの試行で失敗した。
• グリーディおよびランダム方針と比較して、鍵なしでロックが閉じたままの非生産的状態に費やす時間が50％以上短縮された。
• ヒートマップの可視化により、アクティブな探索戦略がランダムおよびグリーディ探索よりも均一で情報量の多い状態空間カバーを実現していることが確認された。
• ベイジアン記号的モデルは収集データから迅速に更新可能であり、効果的な不確実性ベースの探索を可能にし、両ドメインにおけるデータ効率を著しく向上させた。