[論文レビュー] Derivative-Free Policy Optimization for Linear Risk-Sensitive and Robust Control Design: Implicit Regularization and Sample Complexity

Kaiqing Zhang, Xiangyuan Zhang+2 more|arXiv (Cornell University)|Jan 4, 2021

Reinforcement Learning in Robotics参考文献 72被引用数 8

ひとこと要約

本稿では、軌道サンプリングを用いてグローバル収束性と有限サンプル複雑性を達成する、線形リスク感受性およびロバスト制御のための初の導関数フリーのポリシー最適化手法を提示する。学習中にロバストネスを保持するインプリシット正則化を確立し、安全が重要なシステムにおける安定性を保証する。

ABSTRACT

Direct policy search serves as one of the workhorses in modern reinforcement learning (RL), and its applications in continuous control tasks have recently attracted increasing attention. In this work, we investigate the convergence theory of policy gradient (PG) methods for learning the linear risk-sensitive and robust controller. In particular, we develop PG methods that can be implemented in a derivative-free fashion by sampling system trajectories, and establish both global convergence and sample complexity results in the solutions of two fundamental settings in risk-sensitive and robust control: the finite-horizon linear exponential quadratic Gaussian, and the finite-horizon linear-quadratic disturbance attenuation problems. As a by-product, our results also provide the first sample complexity for the global convergence of PG methods on solving zero-sum linear-quadratic dynamic games, a nonconvex-nonconcave minimax optimization problem that serves as a baseline setting in multi-agent reinforcement learning (MARL) with continuous spaces. One feature of our algorithms is that during the learning phase, a certain level of robustness/risk-sensitivity of the controller is preserved, which we termed as the implicit regularization property, and is an essential requirement in safety-critical control systems.

研究の動機と目的

• リスク感受性およびロバスト制御設定におけるモデルフリーのポリシー勾配（PG）法に理論的収束保証が欠如している問題に対処する。
• 線形指数二次ガウス（LEQG）および線形二次（LQ）撹乱抑制問題における非強凸的（non-coercive）な目的関数の課題を克服する。
• 非凸・非凹なミニマックス制御問題におけるPG法の有限サンプル複雑性を確立する。
• ロバストネスが学習中に保持されるよう保証する、モデルフリー設定における初のインプリシット正則化解析を提供する。
• 既存のモデル既知設定におけるインプリシット正則化の結果を、サンプルベースで導関数フリーなPG法へと拡張する。

提案手法

• 線形二次動的ゲームへの等価性を活用し、LEQGおよびLQ撹乱抑制問題に対する統一的なポリシー最適化フレームワークを構築する。
• システムの軌道サンプルを用いて勾配を推定する導関数フリーのPG法を提案し、解析的導関数の使用を回避する。
• 非強凸的目的関数にもかかわらず、PG反復がロバストネス可能領域に留まるよう保証する、新しいインプリシット正則化の議論を導入する。
• モデルフリー設定における統計的誤差を耐えられる均一なマージンバインディングを確立し、従来のモデルベースIR手法の制限を克服する。
• リャプノフ型解析と行列摂動理論を用いて、コントローラーおよびコストート行列のノルムをバインドし、安定性と収束性を保証する。
• リカッチ方程式の構造とゲーム理論的定式化を活用し、ポリシー勾配のリプシッツ連続性を導出する。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーのポリシー勾配法は、非強凸的目的関数を伴うリスク感受性およびロバスト制御問題に対してグローバル収束を達成できるか？
• RQ2 LEQGおよびLQ撹乱抑制問題における導関数フリーPG法に、インプリシット正則化が現れるか？
• RQ3 有限時間ホライズンにおけるこれらのロバスト制御問題を解くPG法のサンプル複雑性は何か？
• RQ4 明示的なバリア関数やモデル知識なしに、学習中にロバストネスを保持できるか？
• RQ5 モデルフリー設定におけるインプリシット正則化は、モデル既知設定と比較して、マージンおよび安定性の観点でどのように異なるか？

主な発見

• 本稿は、線形リスク感受性およびロバスト制御におけるモデルフリーのポリシー勾配法の初の有限サンプル複雑性結果を確立する。
• 非強凸的でも、インプリシット正則化のおかげでPG反復がロバストネス可能領域に留まることを証明する。
• 本手法は、有限時間ホライズンのLEQGおよびLQ撹乱抑制問題の両方において、最適コントローラーへのグローバル収束を達成する。
• インプリシット正則化の性質により、学習中でも学習済みコントローラーが一定のリスク感受性およびロバストネスを維持することが保証される。
• コントローラーのノルムおよびコストート行列のノルムに対する明示的なバインドを提供し、有限サンプル収束保証を可能にする。
• 結果は零和線形二次動的ゲームへと拡張され、連続行動空間を有するマルチエージェント強化学習（MARL）におけるグローバル収束の初のサンプル複雑性を提供する。