[論文レビュー] Bounded Approximate Symbolic Dynamic Programming for Hybrid MDPs

Luis Gustavo Rocha Vianna, Scott Sanner+1 more|arXiv (Cornell University)|Sep 26, 2013

Reinforcement Learning in Robotics参考文献 17被引用数 8

ひとこと要約

本稿では、連続的な状態と行動を伴うハイブリッドマルコフ決定過程（MDP）に対して、XADD圧縮に制約付き双線形サドルポイント問題を用いることで、近似的な符号的動的計画法（SDP）の境界付き近似手法を提案する。この問題を制約生成を用いて解ける二段階線形計画問題に再定式化することにより、計算効率が良く、近似誤差が保証された圧縮が可能となり、正確なSDPに比べて1桁の速度向上を達成しつつ、最小限の近似誤差を維持する。

ABSTRACT

Recent advances in symbolic dynamic programming (SDP) combined with the extended algebraic decision diagram (XADD) data structure have provided exact solutions for mixed discrete and continuous (hybrid) MDPs with piecewise linear dynamics and continuous actions. Since XADD-based exact solutions may grow intractably large for many problems, we propose a bounded error compression technique for XADDs that involves the solution of a constrained bilinear saddle point problem. Fortuitously, we show that given the special structure of this problem, it can be expressed as a bilevel linear programming problem and solved to optimality in finite time via constraint generation, despite having an infinite set of constraints. This solution permits the use of efficient linear program solvers for XADD compression and enables a novel class of bounded approximate SDP algorithms for hybrid MDPs that empirically offers order-of-magnitude speedups over the exact solution in exchange for a small approximation error.

研究の動機と目的

• 拡張代数的意思決定図（XADD）の指数的増大により、連続的状態と行動を伴うハイブリッドMDPにおける正確な符号的動的計画法（SDP）の非効率性に対処すること。
• 解の品質を維持しながら計算複雑性を低減する、XADDの境界付き誤差圧縮技術を開発すること。
• 圧縮問題を解ける二段階線形計画問題に変換することで、ハイブリッドMDPにおける効率的な近似SDPを可能にすること。
• 正確なSDPに比べて顕著な高速化を実現するとともに、最適圧縮により近似誤差が境界付きであることを保証すること。

提案手法

• XADD圧縮を、近似誤差を最小化しつつ境界付き誤差制約を満たす制約付き双線形サドルポイント問題として定式化する。
• サドルポイント問題が持つ特殊構造を活用し、無限個の制約を含む二段階線形計画問題に再定式化する。
• 制約生成を用いて二段階問題を解き、最適性に達するまで反復的に違反する制約を同定・追加する。
• 標準的な線形計画法ソルバを活用して効率的な計算を実現し、XADD表現のスケーラブルな圧縮を可能にする。
• 圧縮されたXADDを、ハイブリッドMDP用の新しい境界付き近似SDPアルゴリズムに統合する。
• 無限の制約集合を持つにもかかわらず、有限時間内に最適圧縮を保証するアルゴリズムフレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドMDPにおいて、XADDに基づく符号的動的計画法は、境界付き近似誤差を維持したまま、効率的に圧縮可能か？
• RQ2 無限個の制約を含むにもかかわらず、XADD圧縮から生じる双線形サドルポイント問題は有限時間で解けるか？
• RQ3 得られた圧縮手法により、正確なSDPに比べて顕著な高速化が達成可能であり、かつ近似誤差の増加は小さく、定量的に評価可能か？
• RQ4 圧縮問題の二段階線形計画法への再定式化により、標準的なソルバを用いて効率的かつ最適に解けるか？

主な発見

• XADD圧縮問題の二段階線形計画法への再定式化により、無限の制約集合を持つにもかかわらず、制約生成を用いて有限時間内に最適解が得られる。
• 提案手法は、ベンチマークとして用いられたハイブリッドMDP問題において、正確な符号的動的計画法に比べて1桁の速度向上を達成した。
• 近似誤差は境界付きであり、定量的に制御されており、実験結果から解の品質の低下は最小限に抑えられている。
• 標準的な線形計画法ソルバの使用により、複雑なハイブリッドMDPにおいても効率的な実装とスケーラビリティが実現された。