[論文レビュー] Robust Reinforcement Learning using Least Squares Policy Iteration with Provable Performance Guarantees

Kishan Panaganti, Dileep Kalathil|arXiv (Cornell University)|Jun 20, 2020

Reinforcement Learning in Robotics参考文献 32被引用数 12

ひとこと要約

本稿では、線形関数近似を用いて大規模な状態空間におけるロバスト・マークフ・意思決定過程（RMDP）のためのモデルフリー強化学習アルゴリズム、ロバスト最小二乗方策反復（RLSPI）を提案する。本稿は、保証された収束性を有するロバスト最小二乗方策評価（RLSPE）アルゴリズムを導入し、学習された方策のサブオプティマル性に対する$L_2$-ノルムの上限を確立し、MountainCar や FrozenLake8x8 といったベンチマーク環境において、パrameterの不確実性下でもロバストな性能を示している。

ABSTRACT

This paper addresses the problem of model-free reinforcement learning for Robust Markov Decision Process (RMDP) with large state spaces. The goal of the RMDP framework is to find a policy that is robust against the parameter uncertainties due to the mismatch between the simulator model and real-world settings. We first propose the Robust Least Squares Policy Evaluation algorithm, which is a multi-step online model-free learning algorithm for policy evaluation. We prove the convergence of this algorithm using stochastic approximation techniques. We then propose Robust Least Squares Policy Iteration (RLSPI) algorithm for learning the optimal robust policy. We also give a general weighted Euclidean norm bound on the error (closeness to optimality) of the resulting policy. Finally, we demonstrate the performance of our RLSPI algorithm on some standard benchmark problems.

研究の動機と目的

• 大規模な状態空間におけるモデルフリーのロバストRLにおける理論的保証の欠如に対処する。
• シミュレータと現実の不一致に対処するパラメータ不確実性に対してロバストな学習ベースの方策反復フレームワークを構築する。
• RMDPにおける方策評価と方策反復の収束性および性能の保証を提供する。
• 理論的厳密性を維持しながら、線形関数近似を用いてスケーラブルなロバスト方策学習を可能にする。
• 環境パラメータの摂動が生じる状況下でも、標準的なベンチマーク環境におけるロバスト性を示す。

提案手法

• RMDPの不確実性下での方策評価に線形関数近似を用いた、マルチステップでオンラインかつモデルフリーなロバスト最小二乗方策評価（RLSPE(λ)）アルゴリズムを提案する。
• 一般条件の下でRLSPE(λ)の収束性を示すために、確率的近似技術を用いる。
• RLSPE(λ)を統合したロバスト方策反復フレームワーク、ロバスト最小二乗方策反復（RLSPI）を導入する。
• RLSPIの任意の反復における方策の最適性への近さ（誤差）に対する一般化された重み付きユークリッドノルムの上限を導出する。
• 球面不確実性集合を用いて環境のパラメータ摂動をモデル化し、シミュレータと現実の不一致を捉える。
• 大規模な状態空間におけるスケーラビリティと解析的取り扱いやすさを確保するため、線形基底関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 収束性と性能保証が保証された、モデルフリーでオンラインかつスケーラブルな方策反復アルゴリズムを、RMDPに対して開発することは可能か？
• RQ2 関数近似を用いて大規模な状態空間で理論的厳密性を保ちながら、ロバストな方策評価をどのように達成できるか？
• RQ3 不確実性下でロバスト方策反復によって学習された方策のサブオプティマル性に対する理論的上限は何か？
• RQ4 提案手法は、標準的なRL環境における非ロバストベースラインと比較して、パラメータ摂動下でどのように性能を示すか？
• RQ5 質量、摩擦、アクションノイズなどの変動する環境パラメータに対しても、方策のロバスト性は維持可能か？

主な発見

• RLSPE(λ)アルゴリズムは確率的近似の条件下で収束し、不確実性下でも安定した方策評価を保証する。
• RLSPIアルゴリズムは、学習された方策と最適なロバスト方策との差に対する保証された$L_2$-ノルムの上限を達成する。
• MountainCar環境では、RLSPIはmax_speedおよびpowerの摂動下でも安定した性能を維持するが、LSPIは著しく性能を低下させる。
• FrozenLake8x8では、RLSPIはランダムアクション確率の増加に対してもロバストであり、到達までの時間と成功確率の両面で非ロバスト手法を上回る。
• CartPole、Acrobot、MountainCarといった複数の環境において、パラメータのずれが生じる状況下でも、RLSPIの性能は一貫性を保つ。
• 不確実性半径$r$のハイパーパramータチューニングなしで、線形関数近似と理論的保証を組み合わせることでロバスト性を達成できることを示している。