[论文解读] Efficient Learning of Distributed Linear-Quadratic Controllers

Salar Fattahi, Nikolai Matni+1 more|arXiv (Cornell University)|Sep 21, 2019

Advanced Control Systems Optimization参考文献 76被引用 8

一句话总结

该论文提出了一种鲁棒且可扩展的方法，用于在未知但稀疏的线性时不变系统中学习分布式线性二次型控制器。通过结合基于Lasso的结构化系统辨识与系统层级综合（SLS）框架，该方法实现了次线性样本复杂度和近线性时间复杂度，仅需极少数据即可保证稳定性与近似最优性能——在40个节点的系统中，仅使用约150个样本即可达到与已知最优控制器（oracle）相当的性能。

ABSTRACT

In this work, we propose a robust approach to design distributed controllers for unknown-but-sparse linear and time-invariant systems. By leveraging modern techniques in distributed controller synthesis and structured linear inverse problems as applied to system identification, we show that near-optimal distributed controllers can be learned with sub-linear sample complexity and computed with near-linear time complexity, both measured with respect to the dimension of the system. In particular, we provide sharp end-to-end guarantees on the stability and the performance of the designed distributed controller and prove that for sparse systems, the number of samples needed to guarantee robust and near optimal performance of the designed controller can be significantly smaller than the dimension of the system. Finally, we show that the proposed optimization problem can be solved to global optimality with near-linear time complexity by iteratively solving a series of small quadratic programs.

研究动机与目标

• 为大规模、未知、稀疏的线性时不变系统设计分布式控制器，确保稳定性与性能。
• 将学习最优控制器所需的样本复杂度降低至低于系统维度，尤其在稀疏系统中。
• 通过实现与系统规模近似线性的时间复杂度，确保计算效率。
• 在模型不确定性下，提供关于稳定性、鲁棒性及性能差距的端到端理论保证。
• 实现在智能电网、交通网络等关键安全基础设施中的实际部署。

提出的方法

• 利用系统层级综合（SLS）框架，通过局部化结构参数化分布式控制器。
• 采用基于Lasso的正则化估计器，从单条系统轨迹数据中识别稀疏的系统矩阵 $A_\star$ 和 $B_\star$。
• 应用基于自助法（bootstrap）的方法（算法2）计算紧致的、数据驱动的估计误差上界。
• 通过算法1设计鲁棒的分布式控制器，考虑模型不确定性并保证稳定性。
• 采用有限脉冲响应（FIR）结构实现控制器，以确保实用性与局部可实现性。
• 通过迭代求解小型二次规划问题来求解最终优化问题，实现近线性时间复杂度。

实验结果

研究问题

• RQ1 是否可以在未知、稀疏的线性系统中，以可证明的稳定性与性能保证，高效学习分布式控制器？
• RQ2 学习具有近似最优性能的分布式控制器所需的最少样本数是多少？
• RQ3 是否可使分布式控制器合成的计算复杂度在系统规模上达到近线性？
• RQ4 FIR长度的选择如何影响所学控制器的性能与鲁棒性？
• RQ5 基于自助法的估计误差边界是否能在实际中可靠地界定真实模型误差？

主要发现

• 所提方法实现了次线性样本复杂度：在40个节点的系统中，仅约150个样本即足以使控制器代价匹配已知最优控制器（oracle），该数值接近系统矩阵中非零元素的数量。
• 即使在数据有限的情况下，端到端控制器性能仍与已知最优代价高度接近，表明其具有近似最优性。
• 运行时间在实验中表现为 $\mathcal{O}(n^{1.004})$，验证了近线性时间复杂度，且该算法具有高度可并行化特性。
• 将FIR长度从4增加到8可显著提升性能，但进一步增加（8到12）仅带来边际收益，表明 $L=8$ 是一个实用的选择。
• 基于自助法的估计误差边界能可靠地界定真实估计误差，验证了不确定性量化方法的有效性。
• 即使系统矩阵未知且仅从数据中估计，该方法仍能保证真实系统的稳定性与近似最优性能。