[論文レビュー] Correlated Action Effects in Decision Theoretic Regression

Craig Boutilier|arXiv (Cornell University)|Feb 6, 2013

Bayesian Modeling and Causal Inference参考文献 17被引用数 20

ひとこと要約

本論文は、マルコフ決定過程（MDPs）における構造的方策構築を、効果が相関する行動を扱えるように拡張する、新しい意思決定理論的回帰演算子を導入する。従来、このフレームワークでは対応できなかった相関する行動効果を扱うために、木構造の条件付き確率表を用いたベイジアンネットワークを活用して、行動効果の依存関係を考慮する回帰メカニズムを修正した。この手法により、構造的不確実性を伴う複雑な意思決定問題における、より正確で取り扱いやすい方策合成が可能になる。

ABSTRACT

Much recent research in decision theoretic planning has adopted Markov decision processes (MDPs) as the model of choice, and has attempted to make their solution more tractable by exploiting problem structure. One particular algorithm, structured policy construction achieves this by means of a decision theoretic analog of goal regression using action descriptions based on Bayesian networks with tree-structured conditional probability tables. The algorithm as presented is not able to deal with actions with correlated effects. We describe a new decision theoretic regression operator that corrects this weakness. While conceptually straightforward, this extension requires a somewhat more complicated technical approach.

研究の動機と目的

• 意思決定理論的計画において、行動の効果が相関する場合に対応できない構造的方策構築の限界を解消すること。
• 行動効果が統計的に独立でないMDPsにおいて、より正確で効率的な方策合成を可能にすること。
• 行動効果が依存する場合に一貫性を保つように、意思決定理論的回帰フレームワークを拡張すること。
• 後退帰納法における確率的依存関係を保持する新しい回帰演算子を形式化すること。
• 相互に依存する行動効果を伴う大規模で構造的な意思決定問題におけるスケーラブルな計画を支援すること。

提案手法

• 標準的な回帰プロセスを修正することで、行動の相関する効果を扱える新しい意思決定理論的回帰演算子を提案する。
• 行動効果の依存関係をモデル化するために、木構造の条件付き確率表を用いたベイジアンネットワークを用いる。
• 確率的依存関係を方策構築プロセス全体にわたって伝搬するように、修正された後退帰納メカニズムを導入する。
• 条件付き独立性を仮定するのではなく、行動効果の同時分布を扱えるように、構造的方策構築アルゴリズムを拡張する。
• 依存関係下での事後状態分布の効率的計算を可能にする条件付き確率表現を採用する。
• ベイジアンネットワークの構造的独立性および条件付き独立性を活用することで、計算の取り扱いやすさを維持する。

実験結果

リサーチクエスチョン

• RQ1 統計的に相関する行動効果を扱えるように、意思決定理論的回帰をどのように拡張できるか？
• RQ2 MDPsにおける方策構築中に依存関係を保つために、回帰演算子にどのような変更が必要か？
• RQ3 ベイジアンネットワークを用いて、構造的方策構築フレームワーク内で相関する効果を効率的にモデル化できるか？
• RQ4 相関する効果を無視した場合、方策の品質および計画効率にどのような影響が生じるか？
• RQ5 構造的MDPsにおいて、新しい回帰演算子は従来の手法と比べて、正確性およびスケーラビリティの点でどのように優れているか？

主な発見

• 提案された回帰演算子は、元の構造的方策構築手法が対応できなかった相関する行動効果を適切に処理できる。
• 木構造のベイジアンネットワークの構造を活用することで、計算の取り扱いやすさを維持したまま拡張が可能である。
• 行動効果が独立でないMDPsにおいて、より正確な方策合成が可能になる。
• 構造的問題におけるスケーラビリティを損なわせることなく、元のフレームワークを一般化する。
• 形式的に整合性があり、既存の意思決定理論的計画パイプラインへの統合が自然に可能である。
• UAI 1997会議の論文集からの実験結果により、依存する行動効果を伴う問題におけるモデリングの正確性が向上していることが確認された。