[論文レビュー] SPUDD: Stochastic Planning using Decision Diagrams

Jesse Hoey, Robert St‐Aubin+2 more|arXiv (Cornell University)|Jan 23, 2013

Bayesian Modeling and Causal Inference参考文献 18被引用数 387

ひとこと要約

SPUDDは、代数的意思決定図（ADD）を用いて価値関数と方策をコン act に表現する価値反復アルゴリズムを提案する。この手法により、大規模なMDPにおける効率的な計画が可能になる。ADDとベイジアンネットワーク表現に直接動的計画法を適用することで、木構造的手法と比較して最適価値関数を表現するのに必要なノード数を最大30倍まで削減し、最大6300万状態を有する問題において顕著なスケーラビリティを示した。

ABSTRACT

Markov decisions processes (MDPs) are becoming increasing popular as models of decision theoretic planning. While traditional dynamic programming methods perform well for problems with small state spaces, structured methods are needed for large problems. We propose and examine a value iteration algorithm for MDPs that uses algebraic decision diagrams(ADDs) to represent value functions and policies. An MDP is represented using Bayesian networks and ADDs and dynamic programming is applied directly to these ADDs. We demonstrate our method on large MDPs (up to 63 million states) and show that significant gains can be had when compared to tree-structured representations (with up to a thirty-fold reduction in the number of nodes required to represent optimal value functions).

研究の動機と目的

• 従来の動的計画法が大状態空間MDPにおいて直面するスケーラビリティの制限を克服すること。
• 高次元意思決定問題における価値関数と方策を効率的に符号化する構造的表現手法の開発。
• 代数的意思決定図（ADD）とベイジアンネットワークを用いてMDPにおける効率的な価値反復を実現すること。
• 大規模計画問題において、木構造的手法と比較して顕著なメモリおよび計算上の利点を示すこと。

提案手法

• MDPは状態遷移と報酬をモデル化するためベイジアンネットワークを用いて表現される。
• 価値関数と方策は代数的意思決定図（ADD）を用いて符号化され、コンパクトで記号的処理が可能になる。
• 価値反復やベルマンバックアップなどの動的計画法の操作が、ADD構造に対して直接適用される。
• 全状態の明示的列挙を回避するために、ADD上で最小化および最大化操作が実行され、最適方策が計算される。
• 価値反復の反復プロセス中にADDが逐次更新され、すべての状態における価値関数のコンパクトな表現が維持される。
• MDPのスパarsityと構造的特徴を活用し、ADD内の共有部分構造を特定することで計算コストを低減する。

実験結果

リサーチクエスチョン

• RQ1 代数的意思決定図（ADD）は、最小限のメモリオーバーヘッドで大規模MDPにおける価値関数と方策を効果的に表現できるか？
• RQ2 ADDベースの動的計画法は、従来の木構造的手法と比較して、メモリ効率性とスケーラビリティにおいてどのように異なるか？
• RQ3 ADDはMDPの構造をどの程度保ったまま、全状態の明示的列挙なしに効率的な価値反復を可能にするか？
• RQ4 数千万状態を有するMDPにおいて、計算の tractability を維持したままスケーリング可能か？
• RQ5 ADDを用いることで、木構造的手法と比較してノード数の削減はどの程度達成されるか？

主な発見

• SPUDD手法は、木構造的手法と比較して、最適価値関数を表現するのに必要なノード数を最大30倍まで削減した。
• 本手法は最大6300万状態を有するMDPにスケーリング可能であり、大規模計画問題への適用可能性を示した。
• ADDベースの表現により、全状態の明示的列挙を回避した効率的な動的計画法が実現された。
• 複雑で高次元な領域においても、方策計算の高精度を維持した。
• ADD内の共有部分構造のコンパクトな符号化により顕著なメモリ節約が達成された。
• 結果として、大規模MDPにおける従来の価値反復と比較して、ADDを用いた構造的表現が実用的で効率的な代替手段であることが示された。