[論文レビュー] Towards a Theoretical Foundation of Policy Optimization for Learning Control Policies

Bin Hu, Kaiqing Zhang+4 more|arXiv (Cornell University)|Oct 10, 2022

Advanced Bandit Algorithms Research被引用数 6

ひとこと要約

本論文は、LQR、H∞、LQG制御などの主要な制御問題において勾配ベース手法を分析することで、学習制御方策におけるポリシー最適化（PO）の理論的基盤を確立する。特定の構造的条件の下で、グローバル収束性とサンプル効率性を示し、制御理論、強化学習、大規模最適化を統合する。

ABSTRACT

Gradient-based methods have been widely used for system design and optimization in diverse application domains. Recently, there has been a renewed interest in studying theoretical properties of these methods in the context of control and reinforcement learning. This article surveys some of the recent developments on policy optimization, a gradient-based iterative approach for feedback control synthesis, popularized by successes of reinforcement learning. We take an interdisciplinary perspective in our exposition that connects control theory, reinforcement learning, and large-scale optimization. We review a number of recently-developed theoretical results on the optimization landscape, global convergence, and sample complexity of gradient-based methods for various continuous control problems such as the linear quadratic regulator (LQR), $\mathcal{H}_\infty$ control, risk-sensitive control, linear quadratic Gaussian (LQG) control, and output feedback synthesis. In conjunction with these optimization results, we also discuss how direct policy optimization handles stability and robustness concerns in learning-based control, two main desiderata in control engineering. We conclude the survey by pointing out several challenges and opportunities at the intersection of learning and control.

研究の動機と目的

• 制御合成におけるポリシー最適化（PO）の理論的保証の不足、特に非凸設定における課題を解決すること。
• 連続的制御問題におけるPOを分析するにあたり、制御理論、強化学習、大規模最適化の視点を統合すること。
• 最適制御およびロバスト制御タスクにおいて、POがグローバル収束性と高いサンプル効率性を達成する条件を同定すること。
• 凸緩和（例：SDP、SOS）と直接ポリシー最適化の非凸最適化ランドスケープとの相互作用を明らかにすること。
• POにおけるスケーラビリティ、安全性、およびモデルベースとモデルフリー手法の統合に関する未解決の課題を特定すること。

提案手法

• 線形二次調節器（LQR）、H∞、リスクセンシティブ、LQG制御問題におけるポリシー最適化の最適化ランドスケープを分析する。
• 勾配ベースの反復的手法（例：ポリシー勾配、アクタ・クリティック）を用いて、パラメータ化されたフィードバックポリシーを直接最適化する。
• 弱い仮定の下で、LQRにおけるコercivity（強制性）および勾配優位性の性質を活用してグローバル収束性を確立する。
• 2次的不変性および構造的制約を用いて、ロバストで構造的制御問題に対する収束保証を導出する。
• リャプノフおよび散逸性条件を介して、凸形式（例：半定値計画、平方和）と非凸POランドスケープを結びつける。
• 理論的分析をマルチエージェントおよび分散制御設定に拡張し、マイルドフィールドおよび一般和LQゲームを含む。

実験結果

リサーチクエスチョン

• RQ1 線形二次制御問題におけるポリシー最適化がグローバル収束を達成する条件は何か？
• RQ2 コercivityおよび勾配優位性の性質が、LQRにおける非凸ポリシー最適化でグローバル収束を可能にするメカニズムは何か？
• RQ3 凸緩和（例：SDP）と直接ポリシー最適化の非凸最適化ランドスケープとの関係は何か？
• RQ4 構造的制約を伴う分散型またはマルチエージェント制御設定において、ポリシー最適化をスケーラブルかつロバストに実現する方法は何か？
• RQ5 部分的に既知のシステムに対して、モデルベースとモデルフリーのポリシー最適化を統合する際の理論的課題と機会は何か？

主な発見

• 線形二次調節器（LQR）において、勾配法を用いたポリシー最適化は、最適化ランドスケープにおけるコercivityおよび勾配優位性のため、グローバル収束性を達成する。
• 状態フィードバック設定では、適切な構造的条件の下で、高度なポリシー最適化手法がリスクセンシティブおよびロバスト制御問題においてグローバル収束性を保証する。
• 部分観測（出力フィードバック）設定では、最適化ランドスケープがポリシー最適化の性能および収束行動に関する重要な洞察を提供する。
• リャプノフおよび散逸性条件を通じて、凸形式（例：SDP、SOS）とポリシー最適化の非凸ランドスケープとの間に根本的な関係が存在する。
• 制約なし最適化における鞍点の脱出および停留点の探索に関する理論的結果は、ポリシー最適化へと拡張可能であるが、これは未解決の分野のままである。
• マルチエージェント分散制御におけるスケーラビリティとロバスト性は、依然として大きな課題であり、特に凸緩和や構造的不変性が存在しない場合には顕著である。