[論文レビュー] Model Reduction Techniques for Computing Approximately Optimal Solutions for Markov Decision Processes

Thomas Dean, Robert Givan+1 more|arXiv (Cornell University)|Feb 6, 2013

Formal Methods in Verification参考文献 19被引用数 104

ひとこと要約

この論文は、大規模で暗黙的（implicit）なマルコフ決定過程（MDP）を、元のMDPを近似する小さな、境界付きパrameter MDP（BMDP）に縮小するために、epsilong-均一な状態空間分割を導入する。形式的検証からのモデル縮小技術を活用することで、制御された誤差境界を伴いながら、近似的に最適な方策の計算が効率的に行える。これは、解の品質を犠牲にして、状態空間のサイズと計算コストを削減することを可能にする。

ABSTRACT

We present a method for solving implicit (factored) Markov decision processes (MDPs) with very large state spaces. We introduce a property of state space partitions which we call epsilon-homogeneity. Intuitively, an epsilon-homogeneous partition groups together states that behave approximately the same under all or some subset of policies. Borrowing from recent work on model minimization in computer-aided software verification, we present an algorithm that takes a factored representation of an MDP and an 0<=epsilon<=1 and computes a factored epsilon-homogeneous partition of the state space. This partition defines a family of related MDPs - those MDPs with state space equal to the blocks of the partition, and transition probabilities "approximately" like those of any (original MDP) state in the source block. To formally study such families of MDPs, we introduce the new notion of a "bounded parameter MDP" (BMDP), which is a family of (traditional) MDPs defined by specifying upper and lower bounds on the transition probabilities and rewards. We describe algorithms that operate on BMDPs to find policies that are approximately optimal with respect to the original MDP. In combination, our method for reducing a large implicit MDP to a possibly much smaller BMDP using an epsilon-homogeneous partition, and our methods for selecting actions in BMDPs constitute a new approach for analyzing large implicit MDPs. Among its advantages, this new approach provides insight into existing algorithms to solving implicit MDPs, provides useful connections to work in automata theory and model minimization, and suggests methods, which involve varying epsilon, to trade time and space (specifically in terms of the size of the corresponding state space) for solution quality.

研究の動機と目的

• 状態空間が巨大で実行不可能な大規模・暗黙的MDPを解く課題に対処すること。
• 状態空間のサイズを縮小しつつ、方策の近似的最適性を保持する手法を開発すること。
• 不確実性下でのロバストな方策計算のための境界付きパrameter MDP（BMDP）の概念を形式化すること。
• 調整可能なepsilongを用いて、計算コスト、メモリ使用量、解の品質の間のトレードオフを可能にすること。
• MDPの解法技術とモデル最小化、オートマトン理論を結びつけることで、スケーラビリティを向上させること。

提案手法

• 同じブロックに属する状態が、一連の方策に対して概ね同一に振る舞うような、epsilong-均一な状態パーティションの概念を導入する。
• 要因分解されたMDP表現から、要因分解されたepsilong-均一なパーティションを計算するためのアルゴリズムを開発する。
• 状態をブロックに集約することでBMDPを構築し、元のMDPのブロックから導かれた区間内に収まる遷移確率と報酬確率を定義する。
• BMDPを解くアルゴリズムを適用し、元のMDPに対して近似的に最適な方策を求める。
• 境界付きパrameterフレームワークを用いて、縮小モデルから得られた方策が性能保証を維持することを保証する。
• パラメータepsilongを用いて、近似の正確さとモデルサイズのトレードオフを制御する。

実験結果

リサーチクエスチョン

• RQ1 関連する方策の下で、各ブロック内の状態が概ね同じように振る舞うような状態空間パーティションを構築できるか？
• RQ2 解の品質を保持しつつ、大規模で暗黙的MDPをより小さな境界付きパrameter MDPに縮小できるか？
• RQ3 縮小されたBMDP上で計算された方策の性能について、元のMDPと比較してどのような形式的保証を提供できるか？
• RQ4 計算効率と解の正確さの間のトレードオフを体系的かつ制御可能にできるか？
• RQ5 MDPのモデル縮小と、形式的検証におけるモデル最小化技術との間にどのような関係があるか？

主な発見

• 本手法は、epsilong-均一なパーティションを用いて、大規模で暗黙的MDPを顕著に小さなBMDPに縮小することに成功した。
• 縮小されたBMDP上で計算された方策は、元のMDPに対して近似的に最適であり、誤差はepsilongで境界づけられていることが保証されている。
• このアプローチにより、状態空間の大きさのため従来は非効率的だったMDPの解法がスケーラブルに可能になった。
• epsilongパラメータを用いることで、解の品質と計算コストの間の体系的トレードオフが可能である。
• モデル最小化との接続により、パーティション計算のための理論的根拠と実用的なアルゴリズムが得られた。
• 本手法は、既存のMDPアルゴリズムの理解を深めるとともに、スケーラブルな強化学習の新たな方向性を示唆している。