[論文レビュー] Active Tree Search in Large POMDPs.

Domenico Maisto, Francesco Gregoretti+2 more|arXiv (Cornell University)|Mar 25, 2021

Memory and Neural Mechanisms参考文献 93被引用数 9

ひとこと要約

本稿では、神経科学におけるアクティブインファレンスとAI分野のモンテカルロ探索を統合することで、大規模な部分的に観測可能なマルコフ決定過程（POMDP）におけるスケーラブルで生物学的に現実的な計画を可能にする、新しい手法であるアクティブツリー探索を提案する。アクティブインファレンスの原理的な探索・活用のバランスとモンテカルロツリーサーチのスケーラビリティを統合することで、バイナリツリー問題やRocksample問題といった挑戦的なPOMDP問題を効果的に解き、海馬や前頭前皮質などの脳領域における神経生理的反応を模擬することができる。

ABSTRACT

Model-based planning and prospection are widely studied in both cognitive neuroscience and artificial intelligence (AI), but from different perspectives - and with different desiderata in mind (biological realism versus scalability) that are difficult to reconcile. Here, we introduce a novel method to plan in large POMDPs - Active Tree Search - that combines the normative character and biological realism of a leading planning theory in neuroscience (Active Inference) and the scalability of Monte-Carlo methods in AI. This unification is beneficial for both approaches. On the one hand, using Monte-Carlo planning permits scaling up the biologically grounded approach of Active Inference to large-scale problems. On the other hand, the theory of Active Inference provides a principled solution to the balance of exploration and exploitation, which is often addressed heuristically in Monte-Carlo methods. Our simulations show that Active Tree Search successfully navigates binary trees that are challenging for sampling-based methods, problems that require adaptive exploration, and the large POMDP problem Rocksample. Furthermore, we illustrate how Active Tree Search can be used to simulate neurophysiological responses (e.g., in the hippocampus and prefrontal cortex) of humans and other animals that contain large planning problems. These simulations show that Active Tree Search is a principled realisation of neuroscientific and AI theories of planning, which offers both biological realism and scalability.

研究の動機と目的

• 大規模なPOMDPに生物学的根拠を持つ計画理論をスケーリングする課題に取り組むとともに、そのノルマティブ性と神経科学的妥当性を保持する。
• 従来のモンテカルロ探索法における探索・活用のトレードオフに対するヒューリスティックな取り扱いを、アクティブインファレンスの原則を組み込むことで克服する。
• 複雑な意思決定の過程において、海馬や前頭前皮質などの脳領域における神経生理的反応を模擬することを可能にする。
• アクティブインファレンスの生物学的現実性とモンテカルロツリーサーチの計算スケーラビリティを統合した統一フレームワークを構築する。

提案手法

• アクティブツリー探索は、アクティブインファレンスの自由エネルギー原理をモンテカルロツリーサーチフレームワークに統合し、行動選択と信念更新をガイドする。
• 経路サンプリングを用いて期待自由エネルギーを推定することで、部分的観測下での効率的な計画が可能になる。
• 変分自由エネルギーの最小化によって、探索と活用の動的バランスを実現し、モデルの証拠と予測誤差を定量化する。
• 可能な状態と行動の信念木を維持し、期待自由エネルギーと不確実性低減に基づいてノードの値を更新する。
• 各ノードが信念状態と行動を表すツリー探索構造を採用し、自由エネルギー推定値をバックプロパゲーションする。
• 内部の信念状態と行動方策を海馬や前頭前皮質で観察される神経活動パターンにマッピングすることで、神経生理的シミュレーションを生成する。

実験結果

リサーチクエスチョン

• RQ1 モンテカルロツリーサーチを用いて、アクティブインファレンスの原則を大規模なPOMDPに効果的にスケーリングできるか？
• RQ2 バイナリツリーのような複雑で適応的探索を要する問題において、アクティブツリー探索はサンプリングベースの手法と比べてどのように異なるか？
• RQ3 アクティブツリー探索は、意思決定過程における海馬や前頭前皮質での神経生理的反応を模擬できるか？
• RQ4 アクティブインファレンスとモンテカルロ計画を統合することで、ヒューリスティックなアプローチに比べ、より原理的（ノルマティブ）な探索が可能になるか？
• RQ5 既存の手法と比較して、アクティブツリー探索はRocksampleのようなベンチマークPOMDP問題でどの程度の性能を示すか？

主な発見

• アクティブツリー探索は、適応的探索を必要とするため、従来のサンプリングベース手法が困難なバイナリツリー問題を効果的にナビゲートする。
• 自由エネルギーの最小化により、探索と活用のバランスを効果的にとることで、Rocksample POMDP問題において優れた性能を達成する。
• シミュレーションにより、計画タスク中に海馬や前頭前皮質で観察される神経生理的反応パターンを再現していることが示された。
• アクティブインファレンスとモンテカルロ計画の統合により、大規模なPOMDPにおけるスケーラブルで生物学的に妥当な計画が可能になる。
• アクティブツリー探索は、標準的なモンテカルロ手法で一般的なヒューリスティックな調整を回避する、原理的（ノルマティブ）な探索の解決策を提供する。
• 高次元で部分的に観測可能な環境においても、高い計画効率と正確性を維持する。