[论文解读] Data-Driven Linear Quadratic Optimization for Controller Synthesis with Structural Constraints

Jun Ma, Zilong Cheng+4 more|arXiv (Cornell University)|Dec 8, 2019

Advanced Control Systems Optimization被引用 4

一句话总结

该论文提出了一种数据驱动的梯度投影方法，用于求解具有控制器增益矩阵结构约束（如固定零元素）的线性二次型调节器（LQR）问题。通过从系统数据中计算梯度，并将其投影到约束超平面上，该算法迭代更新增益矩阵，在保持结构的同时最小化代价函数，从而在模型不确定条件下实现比基于模型的方法更低的代价。

ABSTRACT

For various typical cases and situations where the formulation results in an optimal control problem, the Linear Quadratic Regulator (LQR) approach and its variants continue to be highly attractive. In certain scenarios, it can happen that some prescribed structural constraints on the gain matrix would arise. Consequently then, the Algebraic Riccati Equation (ARE) is no longer applicable in a straightforward way to obtain the optimal solution. This work presents a rather effective alternative optimization approach based on gradient projection. The utilized gradient is obtained through a data-driven methodology, and then projected onto applicable constrained hyperplanes. Essentially, this projection gradient determines a direction of progression and computation for the gain matrix update with a decreasing functional cost; and then the gain matrix is further refined in an iterative framework. With this formulation, a data-driven optimization algorithm is summarized for controller synthesis with structural constraints. This data-driven approach has the key advantage that it avoids the necessity of precise modeling which is always required in the classical model-based counterpart; and thus the approach can additionally accommodate various model uncertainties. Illustrative examples are also provided in the work to validate the theoretical results.

研究动机与目标

• 解决控制器增益矩阵存在结构约束（例如零元素）而无法直接使用代数Riccati方程求解的LQR问题挑战。
• 开发一种无需依赖精确系统模型的无模型优化框架，这在存在模型不确定性时至关重要。
• 仅使用系统输入-输出数据，实现对去中心化或结构受限控制架构的有效控制器综合。
• 通过投影梯度下降方法确保优化过程中的收敛性和代价单调减少。
• 在存在显著模型误差的情况下，证明数据驱动方法相对于传统基于模型方法的优越性。

提出的方法

• 利用系统轨迹数据推导LQR代价函数关于控制器增益矩阵的梯度，避免对系统模型的显式知识。
• 将结构约束（例如固定零元素）表示为增益矩阵上的线性等式约束，通过矩阵 $ G_i $ 和 $ H_i $ 表示，使得 $ G_i K H_i = 0 $。
• 应用梯度投影方法，将下降方向投影到由结构约束定义的可行集上，确保更新过程中保持约束。
• 通过投影梯度迭代更新控制器增益矩阵，以在保持结构稀疏性的同时最小化代价函数。
• 使用线搜索或固定步长确保每次迭代均实现收敛和代价减少。
• 在仅需输入和状态轨迹数据、无需系统动态矩阵的数据驱动框架中实现该算法。

实验结果

研究问题

• RQ1 当系统模型未知或不确定时，数据驱动的优化方法是否能有效求解具有控制器增益矩阵结构约束的LQR问题？
• RQ2 在模型失配或不确定性条件下，数据驱动的梯度投影方法与基于模型的对应方法相比性能如何？
• RQ3 所提出的方法是否能在确保代价单调减少和收敛的同时，保持结构约束（如稀疏性或去中心化结构）？
• RQ4 数据质量与系统维度对数据驱动LQR优化的可扩展性和收敛性有何影响？
• RQ5 该方法能否推广以处理增益矩阵中固定零元素以外的多种结构约束类型？

主要发现

• 所提出的基于数据驱动的方法在10次迭代后达到代价 $ 8.2534 \times 10^2 $，显著低于基于模型方法的代价 $ 1.2060 \times 10^3 $，在模型不确定条件下表现出更优性能。
• 约束违反的范数降低至 $ 5.6196 \times 10^{-5} $，表明在优化过程中结构约束被严格满足。
• 最优增益矩阵 $ K^* = \begin{bmatrix}-57.8053 & -18.8322 & 0 & 0 \\ 0 & 0 & -38.0592 & -7.3845\end{bmatrix} $ 仅通过数据成功计算得出，无需系统模型知识。
• 系统响应仿真（图7）证实，在初始状态 $ x_0 = [1\text{ }0\text{ }1\text{ }0]^T $ 下，使用数据驱动控制器的闭环动态稳定且性能良好。
• 基于模型的方法虽然在理想条件下代价更低，但在参数扰动系统上性能下降，因模型失配所致，凸显了数据驱动方法的鲁棒性。
• 该方法在整个迭代过程中成功保持了增益矩阵所需的零结构，证实了梯度投影机制的有效性。