[論文レビュー] Partial Policy Iteration for L1-Robust Markov Decision Processes

Chin Pang Ho, Marek Petrik+1 more|arXiv (Cornell University)|Jun 16, 2020

Reinforcement Learning in Robotics参考文献 48被引用数 8

ひとこと要約

本稿では、s-およびsa-矩形の不確実性集合を有するL₁-ロバストMDPを解くための部分的方策反復（PPI）および高速ホモトピー／バイセクション法を提案する。ロバストベルマン作用素を準線形時間で計算し、効率的な方策反復を活用することで、LPベースの手法と比較して最大4桁の高速化を達成し、標準MDPと同等のスケーラビリティを確保するとともに収束保証を満たす。

ABSTRACT

Robust Markov decision processes (MDPs) allow to compute reliable solutions for dynamic decision problems whose evolution is modeled by rewards and partially-known transition probabilities. Unfortunately, accounting for uncertainty in the transition probabilities significantly increases the computational complexity of solving robust MDPs, which severely limits their scalability. This paper describes new efficient algorithms for solving the common class of robust MDPs with s- and sa-rectangular ambiguity sets defined by weighted $L_1$ norms. We propose partial policy iteration, a new, efficient, flexible, and general policy iteration scheme for robust MDPs. We also propose fast methods for computing the robust Bellman operator in quasi-linear time, nearly matching the linear complexity the non-robust Bellman operator. Our experimental results indicate that the proposed methods are many orders of magnitude faster than the state-of-the-art approach which uses linear programming solvers combined with a robust value iteration.

研究の動機と目的

• L₁不確実性遷移確率を有するロバストMDPを解く際の高い計算コストを低減すること。
• ロバスト価値および方策反復の各反復で線形計画法（LP）を解くというボトルネックを克服すること。
• s-およびsa-矩形の不確実性集合に一般に適用可能な、効率的かつスケーラブルなフレームワークを構築すること。
• 標準MDPに近い計算複雑度を達成しつつ、収束性とロバスト性を保証すること。
• 高価な商用LPソルバーに依存しないように、ロバストベルマン作用素のための専用で高速なアルゴリズムを導入すること。

提案手法

• ロバストMDPに特化した修正方策反復の一般化として、収束保証が保たれる部分的方策反復（PPI）を提案し、ロバスト価値および方策反復と同等の収束性を達成する。
• 不確実性の大きさを増加させながら最悪ケース遷移を追跡することで、sa-矩形のL₁不確実性集合に対してロバストベルマン作用素を準線形時間で計算するホモトピー続行法を導入する。
• s-矩形のL₁不確手性集合に対しては、バイセクションに基づく分解法を提案し、ホモトピー法を用いたsa-矩形計算のシーケンスに問題を還元する。
• PPIとホモトピー法およびバイセクション法を組み合わせることで、一般のLPソルバーに依存しない完全でスケーラブルなロバストMDP解法フレームワークを構築する。
• L₁不確実性集合の多面体的構造を活用し、ソーティングとインクリメンタル更新を用いて最悪ケース遷移確率を効率的に計算する。
• 方策反復の構造を維持しつつ、ロバスト最適化設定に適応することで、理論的収束を線形速度で保証する。

実験結果

リサーチクエスチョン

• RQ1 収束性と効率性を保ちながら、L₁不確実性集合を有するロバストMDPに対して方策反復を一般化することは可能か？
• RQ2 sa-矩形のL₁不確実性集合に対して、一般のLPソルバーの四次時間複雑度を回避する準線形時間でロバストベルマン作用素を計算できるか？
• RQ3 非凸構造と確率的方策の必要性があるにもかかわらず、s-矩形ロバストMDPは効率的に解けるか？
• RQ4 PPIと高速ベルマン作用素計算を組み合わせることで、最先端のLPベースのロバスト価値反復法に比べて顕著な高速化が達成できるか？
• RQ5 商用LPソルバーが非効率になるような大規模問題に対しても、提案フレームワークは効果的にスケーリング可能か？

主な発見

• 提案されたPPI法は、ロバスト価値反復を最大100倍の速度で上回り、特に方策改善ステップの計算コストが高い問題で顕著な性能向上を示す。
• ホモトピー法により、sa-矩形のL₁不確実性集合に対するロバストベルマン作用素が準線形時間で計算可能となり、非ロバストベルマン作用素と同等のほぼ線形時間複雑度を達成する。
• バイセクション法とホモトピー法を組み合わせることで、s-矩形ロバストベルマン作用素が準線形時間で計算可能となり、確率的方策の課題を克服する。
• 全体のフレームワークは、商用LPソルバーを組み合わせた最先端の手法と比較して最大4桁の高速化を達成する。
• 問題サイズに伴い良好にスケーリングされ、LPソルバーが非効率になる大規模インスタンスではその利点がさらに顕著に現れるものと予想される。
• PPIは、しばしば価値反復サブルーチンの非効率さにより支配されるロバスト修正方策反復（RMPI）よりも、実験的により効率的である。