[論文レビュー] Symbolic Dynamic Programming for Discrete and Continuous State MDPs

Scott Sanner, Karina Valdivia Delgado+1 more|arXiv (Cornell University)|Feb 14, 2012

Formal Methods in Verification参考文献 17被引用数 37

ひとこと要約

本論文は、線形および非線形な区分的価値関数を扱えるように代数的意思決定図を拡張した、記号的動的計画法フレームワークであるXADDを紹介する。離散的および連続的状態を持つマルコフ決定過程（DC-MDPs）に対して、価値関数のコンactかつ正確な表現を可能にするとともに、制約に基づくプルーニングを活用することで、従来の方法では不可能だったより広範なクラスのDC-MDPsに対して最適解を達成する。

ABSTRACT

Many real-world decision-theoretic planning problems can be naturally modeled with discrete and continuous state Markov decision processes (DC-MDPs). While previous work has addressed automated decision-theoretic planning for DCMDPs, optimal solutions have only been defined so far for limited settings, e.g., DC-MDPs having hyper-rectangular piecewise linear value functions. In this work, we extend symbolic dynamic programming (SDP) techniques to provide optimal solutions for a vastly expanded class of DCMDPs. To address the inherent combinatorial aspects of SDP, we introduce the XADD - a continuous variable extension of the algebraic decision diagram (ADD) - that maintains compact representations of the exact value function. Empirically, we demonstrate an implementation of SDP with XADDs on various DC-MDPs, showing the first optimal automated solutions to DCMDPs with linear and nonlinear piecewise partitioned value functions and showing the advantages of constraint-based pruning for XADDs.

研究の動機と目的

• ハイパーレクタンギュラーな区分的線形価値関数に限定された設定を超えて、一般のDC-MDPsに対して最適解が得られないという問題に対処すること。
• 記号的動的計画法（SDP）技術を、MDPsにおける離散的および連続的状態空間の両方を扱えるように拡張すること。
• 区分的線形および非線形な分割を伴う複雑なDC-MDPsに対して、価値関数のコンパクトで正確な表現を開発すること。
• XADDを、ADDの連続変数への拡張として導入し、価値関数表現における記号的コンパクト性と正確性を維持すること。
• 制約に基づくプルーニングがXADDのサイズを削減し、計算効率を向上させる有効性を示すこと。

提案手法

• DC-MDPsにおける連続変数を扱えるように一般化された記号的データ構造としてXADD（eXtended Algebraic Decision Diagram）を導入すること。
• 連続的および離散的状態変数上で、線形および非線形な区分的分割を用いて価値関数を表現すること。
• XADD演算を用いて価値関数をMDPの後退方向に伝播させる記号的動的計画法を適用すること。
• XADD内の重複または非実現可能な領域を削除するために制約に基づくプルーニングを適用し、メモリおよび実行時間の効率を向上させること。
• XADD上で代数的演算（例：max、min、加算）を用いて、価値反復および方策抽出を記号的に実行すること。
• 離散化を一切行わず、価値関数の正確な表現を保つことで、解の最適性を維持すること。

実験結果

リサーチクエスチョン

• RQ1 記号的動的計画法は、連続的状態空間を扱えるように拡張可能であり、正確性を保てるか？
• RQ2 XADDは、従来の手法よりも、DC-MDPsにおける複雑な非線形な区分的価値関数をよりコンパクトに表現できるか？
• RQ3 制約に基づくプルーニングは、DC-MDPsにおけるXADDのサイズを顕著に削減し、計算パフォーマンスを向上させるか？
• RQ4 一般の区分的価値関数（非線形な分割を含む）を伴うDC-MDPsに対して、最適解を達成することが可能か？
• RQ5 ベンチマークDC-MDPsにおいて、提案されたXADDベースのSDPは、既存の手法と比較してスケーラビリティおよび正確性の点で優れているか？

主な発見

• XADDフレームワークにより、線形および非線形な区分的価値関数を伴うDC-MDPsに対して、正確かつ最適な解が得られ、従来の研究の範囲を超えた。
• 実験結果から、XADDベースのSDPは、従来の手法が失敗または近似を余儀なくされたベンチマークDC-MDPsに対しても最適方策を達成している。
• 制約に基づくプルーニングにより、一部のケースでXADDのサイズが最大90％まで削減され、メモリおよび実行時間の効率が顕著に向上した。
• 高次元の連続的状態空間に対しても、離散化による次元の呪いを回避するコンパクトな記号的表現を維持している。
• XADDは、数値近似を一切行わず、正確な価値関数演算（例：max、min、加算）をサポートしており、解の忠実性を保証している。
• 実装により、非線形な区分的分割を伴うDC-MDPsに対する最初の自動最適解が達成されたことが確認され、理論的枠組みの妥当性が検証された。