[論文レビュー] Robust Policy Optimization with Baseline Guarantees

Yinlam Chow, Marek Petrik+1 more|arXiv (Cornell University)|Jun 15, 2015

Reinforcement Learning in Robotics参考文献 11被引用数 4

ひとこと要約

本稿では、MDPモデルが不正確であってもベースライン方策に対する性能向上を保証するロバストな方策最適化アルゴリズムを提案する。ロバスト最適化技術を活用し、ベースライン性能をセーフティ制約として組み込むことで、計算複雑性と保守性のバランスを保ちながら理論的な性能保証を提供する。

ABSTRACT

Our goal is to compute a policy that guarantees improved return over a baseline policy even when the available MDP model is inaccurate. The inaccurate model may be constructed, for example, by system identification techniques when the true model is inaccessible. When the modeling error is large, the standard solution to the constructed model has no performance guarantees with respect to the true model. In this paper we develop algorithms that provide such performance guarantees and show a trade-off between their complexity and conservatism. Our novel model-based safe policy search algorithms leverage recent advances in robust optimization techniques. Furthermore we illustrate the effectiveness of these algorithms using a numerical example.

研究の動機と目的

• MDPモデルが不完全な現実世界のシステムに学習済み方策を導入する際の性能保証の重要性に対応する。
• モデルの不正確さが生じても、真の環境下で提案された方策が与えられたベースライン方策と同等以上に性能を発揮することを保証する。
• 計算複雑性と保守性のトレードオフを維持しつつ、セーフティ保証を保つアルゴリズムを開発する。
• 既存のベースライン方策の性能を活用することで、安全な方策探索の効率性と実用性を向上させる。
• モデル不確実性下での最適方策に対する性能損失の理論的境界を導出する。

提案手法

• システム同定から導出される誤差関数を用いて遷移確率の不確実性を扱うロバストMDP（RaMDP）を定式化する。
• 不確実性集合内におけるすべての妥当なモデルについて最小期待報酬を最大化するロバスト方策最適化フレームワークを導入する。
• ベースライン方策の性能を下限として用いて探索空間を制約し、完全なモデル再推定を必要とせずにセーフティを確保する。
• 最悪ケースの遷移ダイナミクス下での価値関数計算に、ロバスト動的計画法（ロバストベルマン作用素を含む）を適用する。
• 状態の占有周波数とベルマン残差解析を組み合わせ、タイトな性能損失境界を導出する。
• 段階的に方策探索を精緻化しつつセーフティ保証を維持する反復的および拡張型ロバストMDP定式化を提案する。

実験結果

リサーチクエスチョン

• RQ1 MDPモデルが不正確な状況下でも、真の環境下で学習済み方策がベースライン方策と同等以上に性能を発揮することをどのように保証できるか？
• RQ2 モデル不確実性下での安全な方策最適化において、計算複雑性と保守性のトレードオフはどのように変化するか？
• RQ3 ベースライン方策の性能をパフォーマンスの基準点として組み込むことで、標準的なロバスト最適化を改善できるか？
• RQ4 モデル不確実性下でのロバスト方策の性能損失に対して、どのような理論的境界を導出できるか？
• RQ5 異なるロバストMDP定式化（例：RaMDP, RMDP, 拡張RMDP）は、セーフティ、パフォーマンス、計算コストの観点でどのように比較できるか？

主な発見

• 提案されたアルゴリズムは、モデルが不正確であっても、真のMDPにおいて返された方策がベースライン方策と同等以上に性能を発揮することを保証する。
• ロバスト方策の性能損失は、ベルマン残差とモデル誤差に比例する項によって上限が定められており、誤差ベクトルのL1ノルムを用いて明示的な上界が導出されている。
• ベースライン方策の既知の性能を参照点として活用するため、標準的なロバスト手法よりもタイトな性能損失境界が得られる。
• 計算複雑性と保守性のトレードオフは実験的に検証された：より複雑なアルゴリズム（例：ロバスト方策とベースライン方策を統合する）は、より保守的でない、より高いパフォーマンスを発揮する。
• 理論的分析により、ロバスト方策の性能損失は $\frac{\text{BR}(\pi)}{1-\gamma} + \max_{\pi} \min_{P \in \mathcal{U}} \frac{2\gamma R_{\max}}{(1-\gamma)^2} \|e_{\pi}\|_{1,\pi}$ で上限が定められ、ここでBRはベルマン残差を表す。
• 数値実験により、アルゴリズムが顕著なモデル不確実性下でも安全な方策改善を達成することが確認され、真のMDPにおける最適方策に近いパフォーマンスを発揮している。