[論文レビュー] Scaling Up Robust MDPs by Reinforcement Learning

Aviv Tamar, Huan Xu+1 more|arXiv (Cornell University)|Jun 26, 2013

Reinforcement Learning in Robotics参考文献 18被引用数 28

ひとこと要約

本稿では、パrameterの不確実性下での大規模なロバスト・マークフ・意思決定過程（RMDP）を解くための強化学習ベースの近似動的計画法を提案する。線形関数近似と射影固定点方程式を用いることで、スケーラブルなロバスト計画が可能となり、理論的収束保証と、オプション価格設定問題における実証的検証により、不確実性下での最悪ケース性能が向上することが示された。

ABSTRACT

We consider large-scale Markov decision processes (MDPs) with parameter uncertainty, under the robust MDP paradigm. Previous studies showed that robust MDPs, based on a minimax approach to handle uncertainty, can be solved using dynamic programming for small to medium sized problems. However, due to the "curse of dimensionality", MDPs that model real-life problems are typically prohibitively large for such approaches. In this work we employ a reinforcement learning approach to tackle this planning problem: we develop a robust approximate dynamic programming method based on a projected fixed point equation to approximately solve large scale robust MDPs. We show that the proposed method provably succeeds under certain technical conditions, and demonstrate its effectiveness through simulation of an option pricing problem. To the best of our knowledge, this is the first attempt to scale up the robust MDPs paradigm.

研究の動機と目的

• 従来の動的計画法では次元の呪いにより計算不能となるロバストMDPのスケーラビリティを解決すること。
• 正確な手法が失敗する大規模なロバストMDPを近似的に解く強化学習フレームワークの開発。
• 線形関数近似の下でロバスト方策評価と方策改善の理論的収束保証を提供すること。
• 遷移確率の不確実性を伴う実世界のオプション価格設定問題において、本手法の有効性を実証すること。
• モデル不確実性下での大規模な逐次意思決定問題におけるリスク回避的意思決定を可能にすること。

提案手法

• 遷移確率の不確実性集合を用いてロバストMDPを定式化し、最悪ケース性能最適化を保証する。
• 線形関数近似を用いてロバスト価値関数を近似するための射影固定点方程式を導入する。
• サンプリングに基づく更新を用いて方策を繰り返し改善する近似的ロバスト方策反復（ARPI）アルゴリズムを開発する。
• 状態と時間の非分離的依存関係を捉えるために、径路基底関数（RBF）特徴を価値関数の表現に用いる。
• オプション実行における行動価値の不連続性に対処するため、状態依存のしきい値を用いたARPI更新則を適用する。
• 線形近似下でのロバストベルマン作用素の収縮性を活用して収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 正確な動的計画法では計算不能な大規模なロバストMDPを、強化学習が有効に適応可能か？
• RQ2 射影固定点アプローチと組み合わせた線形関数近似が、保証付き収束のロバスト方策評価と改善をもたらすか？
• RQ3 モデル不確実性下で、ロバスト方策はノーマル（非ロバスト）方策と比較してどのように性能を発揮するか？
• RQ4 最適停止問題におけるロバスト価値関数の近似に最も効果的な特徴表現は何か？
• RQ5 提案手法は、金融オプション価格設定の事例で示されるように、不確実性下の逐次意思決定においてリスク回避的行動を達成できるか？

主な発見

• 提案されたARPIアルゴリズムは、ややきつい技術的条件の下で、線形関数近似の下でロバスト方策評価と改善について保証付き収束を達成する。
• ロバスト方策は、合計報酬の下位パーセンタイルにおいてノーマル方策を上回り、不確実性下でのリスク回避的行動を示した。
• ラゲールや単調多項式特徴と比較して、RBF特徴の使用により性能が著しく向上した。これは、非分離的価値関数構造のより良いモデリングに起因すると考えられる。
• ロバスト性による性能向上は、信頼区間幅（α）とデータサイズ（N_data）によって制御される不確実性レベルに比例して現れた。
• 200回の独立実験において、ペアトーテストにより、ロバスト方策は最悪ケースシナリオで統計的に有意な性能優位性（p < 0.05）を示した。
• 本手法は、ロバストMDPパラダイムを大規模問題へスケーリングすることに成功し、文献上では初めてのアプローチである。