[論文レビュー] Gradient Dominance in the Linear Quadratic Regulator: A Unified Analysis for Continuous-Time and Discrete-Time Systems

Yuto Watanabe, Yang Zheng|arXiv (Cornell University)|Feb 26, 2026

Adaptive Dynamic Programming Control被引用数 0

ひとこと要約

この論文は、連続時間と離散時間のLQRに対する統一された勾配支配（POLYAK–ŁOJASIEWICZ不等式）フレームワークを提示し、共通の凸リフティング手法がグローバル/半グローバルな保証を生み出すこと、時間領域の違いを明確にすることを示す。

ABSTRACT

Despite its nonconvexity, policy optimization for the Linear Quadratic Regulator (LQR) admits a favorable structural property known as gradient dominance, which facilitates linear convergence of policy gradient methods to the globally optimal gain. While gradient dominance has been extensively studied, continuous-time and discrete-time LQRs have largely been analyzed separately, relying on slightly different assumptions, proof strategies, and resulting guarantees. In this paper, we present a unified gradient dominance property for both continuous-time and discrete-time LQRs under mild stabilizability and detectability assumptions. Our analysis is based on a convex reformulation derived from a common Lyapunov inequality representation and a unified change-of-variables procedure. This convex-lifting perspective yields a single proof framework applicable to both time models. The unified treatment clarifies how differences between continuous-time and discrete-time dynamics influence theoretical guarantees and reveals a deeper structural symmetry between the two formulations. Numerical examples illustrate and support the theoretical findings.

研究の動機と目的

• LQRの政策最適化を動機づけ、穏やかな安定性および検知可能性の仮定の下でその非凸的景観を理解する。
• 連続時間と離散時間のLQR問題の双方に適用可能な統一された勾配支配（POLYAK–ŁOJASIEWICZ）フレームワークを提供する。
• 勾配法がグローバル最適解へ線形収束する厳密条件を提供する。
• 連続/離散の時間離散化が保証と景観構造にどのように影響するかを明らかにする。

提案手法

• 共通のリヤプノフ表現を用いた統一的ポリシー最適化フレームワークで連続時間LQRと離散時間LQRを定式化する。
• Psi_ctおよびPsi_dtを用いた統一の演算子ベースのリフティングを導入し、リヤプノフ方程式を共通の制約構造へ再表現する。
• 現在のポリシーKに依存する非均一定数mu_Kを伴う統一的勾配支配定理（定理3）を導出する。
• コンパクト集合上で一様な勾配支配を得るためのmuの下界付け（推定1）と、離散時間の場合の全球勾配支配（推定2）を示す。
• リヤプノフ方程式の不等式緩和を用いた凸リフティング再表現と部分最小化/連鎖律の議論により、J(K)-J*の下界と上界の両方を得て勾配支配を確立する。
• Assumption 2（X_Kの正定値性）の意味を議論し、X_Kの性質と勾配支配および一意性を結ぶ例と命題を提供する。

実験結果

リサーチクエスチョン

• RQ1 穏やかな仮定の下で、連続時間と離散時間のLQRの双方に対して統一的な勾配支配フレームワークを確立できるか。
• RQ2 政策勾配法の線形収束を保証する一様または全球的な勾配支配定数をどの条件で得られるか。
• RQ3 連続時間と離散時間のリヤプノフ構造がLQRの政策最適化の景観と保証にどのように影響するか。
• RQ4 最適LQR利得がいつ一意になるか、Assumption 2が最適解の退化にどのように影響するか。
• RQ5 勾配支配挙動を保証する実用的な条件（例：W>0, Q≥0）などは何か。

主な発見

• 連続時間および離散時間LQRの双方に対して安定化および検知可能性の仮定の下で統一的な勾配支配結果（定理3）が成り立つ。
• 勾配支配定数mu_KはKを介してリヤプノフ解X_Kに依存し、コンパクト集合上で一様なmuを得られる（推定1）。
• リヤプノフX_K ≥ W > 0より、離散時間LQRは穏やかな条件下で全球的な勾配支配を持つ（推定2）。
• 緩和されたリヤプノフ方程式を用いた凸リフティング再表現により、下界と上界の両方を満たす単一の枠組みでJ(K)-J*を制約し、勾配支配を実現する。
• Assumption 2（X_K > 0）は最適利得の一意性を保証し、景観の退化を排除する（命題2）。
• 本論は、グローバル、半局所、または制御性/検知可能性条件によりグラデント支配が成り立つ場合を Illustrative に示す例を提供する。