[論文レビュー] Partitioned Linear Programming Approximations for MDPs

Branislav Kveton, Miloš Hauskrecht|arXiv (Cornell University)|Jun 13, 2012

Reinforcement Learning in Robotics参考文献 21被引用数 3

ひとこと要約

本稿では、大規模な要因分解型マルコフ決定過程（MDP）の近似解を求めるために、分割型線形計画法（LP）アプローチを導入する。制約空間を低次元の部分空間に分解することで、木幅に指数関数的に依存しない効率的なLP解法が可能となり、2^100状態を超えるMDPのスケーラブルな解法が達成された。これは、標準的な近似線形計画法（ALP）と比較して理論的・実用的利点を示している。

ABSTRACT

Approximate linear programming (ALP) is an efficient approach to solving large factored Markov decision processes (MDPs). The main idea of the method is to approximate the optimal value function by a set of basis functions and optimize their weights by linear programming (LP). This paper proposes a new ALP approximation. Comparing to the standard ALP formulation, we decompose the constraint space into a set of low-dimensional spaces. This structure allows for solving the new LP efficiently. In particular, the constraints of the LP can be satisfied in a compact form without an exponential dependence on the treewidth of ALP constraints. We study both practical and theoretical aspects of the proposed approach. Moreover, we demonstrate its scale-up potential on an MDP with more than 2^100 states.

研究の動機と目的

• 標準的な近似線形計画法（ALP）を用いた大規模な要因分解型MDPの解法における計算非効率性に対処すること。
• 制約空間の再構築により、ALPの木幅に指数関数的に依存する問題を軽減すること。
• 解の品質を維持しつつ、効率的な計算を可能にするスケーラブルなLP定式化を開発すること。
• 2^100状態を超えるような極めて大きな状態空間を有するMDPにおいて、本手法の有効性を示すこと。

提案手法

• 元のALPの制約空間を複数の低次元部分空間に分割することで、最適化問題の単純化を図る。
• 各部分空間は状態空間の局所的領域に対応し、局所的な制約の満たし方を可能にする。
• 全体のLPを再定式化し、制約を完全な列挙を避けるコンactかつ分解型の形で強制する。
• 要因分解型MDPの構造を活用して、LPにおける制約および変数の数を削減する。
• 基底関数を用いて価値関数を近似し、重みは分割型LP定式化により最適化する。
• 分解により、木幅に指数関数的に依存しない計算量で、解が実行可能かつ近似的に最適なまま保たれる。

実験結果

リサーチクエスチョン

• RQ1 大規模MDPにおけるALPの制約空間を分解することで、木幅に指数関数的に依存する複雑度を回避できるか？
• RQ2 2^100状態を超えるMDPに対して、LPに基づく価値関数近似をどのようにスケーラブルに実現できるか？
• RQ3 制約の分割が解の品質を保持しつつ、計算効率を向上させられるか？
• RQ4 分割型LPアプローチは、標準的なALPと比較して、理論的および実験的性能で優れているか？

主な発見

• 提案された分割型LP定式化により、標準的なALPに見られる木幅に指数関数的に依存する問題が解消され、大規模MDPのスケーラブルな解法が可能になった。
• 本手法は、2^100状態を超えるMDPを効果的に解くことに成功し、顕著なスケールアップの可能性を示した。
• 分解により、完全な列挙を回避する効率的な制約処理が可能となり、計算複雑度が低減された。
• 計算時間およびメモリ効率を著しく向上させつつ、標準的なALPと同等の解の品質を維持した。
• 実験的結果から、分割型LP定式化は著しく低い計算コストで近似的に最適な方策を達成することが確認された。
• 理論的分析により、標準的なMDPの仮定の下で、新規な定式化の実行可能性および収束特性が裏付けられた。