[論文レビュー] Smoothing Policies and Safe Policy Gradients

Matteo Papini, Matteo Pirotta+1 more|arXiv (Cornell University)|May 8, 2019

Energy, Environment, and Transportation Policies被引用数 5

ひとこと要約

本論文は、ステップサイズとバッチサイズを適応的に調整することにより、安全制約のもとで性能の単調な向上を保証する、新しい方策勾配アルゴリズムである Smoothed Policies and Safe Policy Gradients (SPG) を提案する。確率的最適化の観点から方策勾配を分析し、タイトな分散バウンドを導出することで、SPG は、ガウス方策を用いた連続的制御タスクでさえも、高い確率で性能が低下しないことを保証する。

ABSTRACT

Policy Gradient (PG) algorithms are among the best candidates for the much-anticipated applications of reinforcement learning to real-world control tasks, such as robotics. However, the trial-and-error nature of these methods poses safety issues whenever the learning process itself must be performed on a physical system or involves any form of human-computer interaction. In this paper, we address a specific safety formulation, where both goals and dangers are encoded in a scalar reward signal and the learning agent is constrained to never worsen its performance, measured as the expected sum of rewards. By studying actor-only policy gradient from a stochastic optimization perspective, we establish improvement guarantees for a wide class of parametric policies, generalizing existing results on Gaussian policies. This, together with novel upper bounds on the variance of policy gradient estimators, allows us to identify meta-parameter schedules that guarantee monotonic improvement with high probability. The two key meta-parameters are the step size of the parameter updates and the batch size of the gradient estimates. Through a joint, adaptive selection of these meta-parameters, we obtain a policy gradient algorithm with monotonic improvement guarantees.

研究の動機と目的

• オンライン学習中に性能が低下しないように保証することで、強化学習における安全性を向上させること。
• ガウス方策に限らない広範なパラメトリック方策クラスへ、単調な改善保証を一般化すること。
• 安定性および収束性の向上を図るため、方策勾配推定器の分散に対する新たな上界を導出すること。
• 試行錯誤学習が性能の低下を引き起こしてはならない実世界の制御タスクにおいて、安全な探索を可能にすること。
• 高い確率で単調な改善を保証する、ステップサイズおよびバッチサイズの適応的スケジューリングを備えた実用的なアルゴリズムを提供すること。

提案手法

• 方策勾配更新を、方策勾配の滑らかさと集中性の性質を活用した確率的最適化問題として定式化する。
• 実証的平均と分散の推定に基づき、動的に目標性能閾値を調整するマイルストーン制約を導入する。
• 報酬推定におけるHoeffding型不等式に基づく信頼区間から導出された境界を用いて、バッチサイズとステップサイズを適応的に選択する。
• 方策の滑らかさと報酬の範囲に依存する、方策勾配推定器のための新たな分散上界を採用する。
• 固定ステップサイズと適応的バッチサイズの組み合わせを用いた更新ルールを採用し、勾配推定誤差が十分に小さくなるまでバッチサイズを増大させる。
• 性能は実証的平均と信頼区間で監視され、改善が統計的に保証される場合にのみ更新が実行される。

実験結果

リサーチクエスチョン

• RQ1 安全制約のもとで、方策勾配法において性能の単調な向上を保証することは可能か？
• RQ2 方策勾配推定器の分散をどのように制御すれば、信頼性の高い改善保証を達成できるか？
• RQ3 実用的に高い確率で単調な改善を保証するには、ステップサイズとバッチサイズのどの適応的スケジューリングが有効か？
• RQ4 理論的な改善保証をガウス方策に限らず、より広範なパラメトリック方策クラスへ拡張可能か？
• RQ5 外部の安全信号や人間の示唆に依存せずに、実世界のRL応用において安全な探索を実現できるか？

主な発見

• SPGアルゴリズムは、報酬推定の信頼区間に基づき、ステップサイズとバッチサイズを適応的に調整することで、高い確率で単調な改善を保証する。
• 本手法は、ガウス方策に限らない広範なパラメトリック方策クラスに対して理論的改善保証を達成し、従来のガウス方策に限定された結果を一般化する。
• 方策の滑らかさと報酬の範囲に依存する、方策勾配推定器の分散に対する新たな上界が導出され、よりタイトな信頼区間の実現を可能にする。
• LQRおよびCart-Poleタスクにおける実験結果から、SPGはノイズの多い勾配推定に対しても、すべてのエピソードで性能を維持または向上させ、低下がないことが示された。
• 適応的バッチサイズスケジューリングにより、勾配推定誤差がしきい値以下に保たれ、改善保証を維持する上で極めて重要である。
• マイルストーン制約は、性能目標を動的に調整し、性能低下を回避しながら安全に探索を実行可能にする。