[論文レビュー] Structured Reachability Analysis for Markov Decision Processes

Craig Boutilier, Ronen I. Brafman+1 more|arXiv (Cornell University)|Jan 30, 2013

Bayesian Modeling and Causal Inference参考文献 21被引用数 41

ひとこと要約

この論文は、ベイジアンネットワークなどのコン pact な表現を用いて、マークフ・意思決定過程（MDP）における構造的到達可能性解析を導入し、効率的に到達可能な状態を特定する手法を提示する。ベイジアンネットワーク構造における確率的で相関する作用を扱うために、GRAPHPLANに類似した手法を拡張することで、関係のない変数や値のプルーニングが可能となり、MDPのサイズが著しく削減され、特に初期状態が既知である場合に解法可能性が向上する。

ABSTRACT

Recent research in decision theoretic planning has focussed on making the solution of Markov decision processes (MDPs) more feasible. We develop a family of algorithms for structured reachability analysis of MDPs that are suitable when an initial state (or set of states) is known. Using compact, structured representations of MDPs (e.g., Bayesian networks), our methods, which vary in the tradeoff between complexity and accuracy, produce structured descriptions of (estimated) reachable states that can be used to eliminate variables or variable values from the problem description, reducing the size of the MDP and making it easier to solve. One contribution of our work is the extension of ideas from GRAPHPLAN to deal with the distributed nature of action representations typically embodied within Bayes nets and the problem of correlated action effects. We also demonstrate that our algorithm can be made more complete by using k-ary constraints instead of binary constraints. Another contribution is the illustration of how the compact representation of reachability constraints can be exploited by several existing (exact and approximate) abstraction algorithms for MDPs.

研究の動機と目的

• 大規模MDPの解法における計算的非効率性に対処するために、状態空間のプルーニングによる問題の縮小を図ること。
• MDPの構造的・コン pact な表現を活用することで、意思決定理論的システムにおけるスケーラブルな計画を可能にすること。
• 古典的計画（例：GRAPHPLAN）における到達可能性解析手法を、相関する作用効果を有する確率的・ステルティックなドメインに拡張すること。
• コンパクトで再利用可能な到達可能性制約を提供することにより、正確かつ近似的な抽象化手法の両方を支援すること。
• 作用表現におけるk-値制約を二値制約よりも拡張することで、到達可能性推定の完全性と正確性を向上させること。

提案手法

• 構造的・コン pact な状態および作用の依存関係をモデル化するため、ベイジアンネットワーク表現をMDPに用いる。
• 目的に向かって後退的に到達可能性制約を伝搬するため、確率的作用効果に対応して変更されたGRAPHPLAN風のアルゴリズムを適用する。
• 作用をモノリシックな遷移ではなく、ベイジアンネットワーク構造内に分散してモデル化することで、相関する作用効果を扱う。
• 従来の二値制約よりも完全性が向上するように、k-値制約を導入する。
• 関係のない変数や変数値をMDPモデルから削除するために使用可能な、到達可能な状態の構造的記述を生成する。
• 得られた到達可能性制約を、正確および近似的な両方のMDP抽象化技術に統合する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンネットワークを用いて表現された確率的で相関する作用を有するMDPに対して、構造的到達可能性解析をどのように適合させることができるか。
• RQ2 構造的表現から導出された到達可能性制約は、MDPの複雑さをどの程度低減し、解法可能性を向上させることができるか。
• RQ3 k-値制約は、MDP計画における二値制約と比較して、到達可能性推定の完全性を向上させることができるか。
• RQ4 生成された到達可能性記述は、MDPの異なる抽象化アルゴリズム間でどの程度再利用可能か。
• RQ5 MDPにおける構造的到達可能性解析において、計算複雑性と正確性のトレードオフはどのようなものか。

主な発見

• 提案手法により、構造的到達可能性制約を用いて到達不能または関係のない変数や変数値を削除することで、MDPのサイズが著しく削減された。
• ベイジアンネットワークにおける分散作用表現を扱えるように拡張されたGRAPHPLANの適用により、確率的ドメインにおける有効な到達可能性解析が可能になった。
• k-値制約を用いることで、二値制約と比較して到達可能性推定の完全性が向上し、より正確な状態空間のプルーニングが実現された。
• コンパクトな到達可能性記述は、正確および近似的な抽象化アルゴリズムの両方と互換性があり、スケーラビリティが向上した。
• 実験的結果により、このアプローチが有効な状態空間を著しく縮小し、従来では非効率的であったMDPを標準ソルバーで解けるようにした。
• 初期状態または初期状態の集合が既知である場合に特に効果的であり、ターゲットに特化したプルーニングと計画効率の向上が可能となった。