[论文解读] Model-Free Nonlinear Feedback Optimization

Zhiyu He, Saverio Bolognani+3 more|arXiv (Cornell University)|Jan 7, 2022

Advanced Control Systems Optimization参考文献 55被引用 1

一句话总结

该论文提出了一种针对非线性动力系统的无模型反馈优化控制器，可在无需已知被控对象模型的情况下实现高效的稳态运行。通过从输入-输出评估中估计梯度，并使用类似Frank-Wolfe的更新方法处理约束，该方法保证收敛至近优解，且子优性误差存在显式上界，其大小与问题维度、迭代次数及被控对象动态特性成比例。

ABSTRACT

Feedback optimization is a control paradigm that enables physical systems to autonomously reach efficient operating points. Its central idea is to interconnect optimization iterations in closed-loop with the physical plant. Since iterative gradient-based methods are extensively used to achieve optimality, feedback optimization controllers typically require the knowledge of the steady-state sensitivity of the plant, which may not be easily accessible in some applications. In contrast, in this paper, we develop a model-free feedback controller for efficient steady-state operation of general dynamical systems. The proposed design consists of updating control inputs via gradient estimates constructed from evaluations of the nonconvex objective at the current input and at the measured output. We study the dynamic interconnection of the proposed iterative controller with a stable nonlinear discrete-time plant. For this setup, we characterize the optimality and stability of the closed-loop behavior as functions of the problem dimension, the number of iterations, and the rate of convergence of the physical plant. To handle general constraints that affect multiple inputs, we enhance the controller with Frank-Wolfe-type updates.

研究动机与目标

• 解决在被控对象模型不可用或不准确时，非线性动力系统稳态运行优化的挑战。
• 设计一种无需依赖被控对象灵敏度或动态特性的反馈优化控制器，仅依赖实时输入-输出测量数据。
• 在一般非凸目标函数与约束条件下，确保收敛至近优解，即使存在未测量的扰动也具备鲁棒性。
• 量化闭环运行中收敛速率、问题维度与子优性之间的权衡关系。
• 通过类似Frank-Wolfe的迭代更新方法，将框架扩展至处理多输入约束。

提出的方法

• 通过在当前输入和测量输出处对目标函数进行评估，利用有限差分法构造梯度估计，实现无模型运行。
• 设计一种反馈控制器，基于这些梯度估计在与物理被控对象的闭环中迭代更新控制输入。
• 采用基于李雅普诺夫函数的分析方法，为具有有界动态特性的离散时间非线性被控对象建立稳定性与收敛性。
• 引入类似Frank-Wolfe的更新方法以处理影响多个输入的一般约束，确保优化过程中约束被严格满足。
• 使用平滑化目标函数˜Φδ来限制估计误差，并以迭代次数T和扰动大小δ表示收敛速率。
• 应用随机逼近技术与方差界，控制估计梯度与真实梯度之间的误差，从而导出子优性上界。

实验结果

研究问题

• RQ1 如何在不依赖被控对象灵敏度知识的前提下，实现对一般非线性动力系统的无模型反馈优化？
• RQ2 在非凸目标函数与非线性被控对象动态特性下，无模型反馈控制器的收敛特性与子优性上界是什么？
• RQ3 问题维度、迭代次数与被控对象收敛速率如何共同影响闭环系统的性能？
• RQ4 能否在不依赖惩罚函数的前提下，有效集成约束处理机制于无模型反馈优化中？
• RQ5 在存在测量噪声与系统动态特性的条件下，梯度估计精度、步长与收敛速率之间的权衡关系如何？

主要发现

• 所提出的控制器在期望意义下的子优性被有界于O(1/√T)，其显式依赖于问题维度、被控对象动态特性与梯度估计误差。
• 当步长设置为η = κ√ϵ/√T且扰动大小δ = ϵ/M时，收敛速率被定量表征为O(1/√T)，从而确保梯度估计的精度。
• 子优性上界包含与被控对象动态特性相关的项，如李雅普诺夫函数衰减速率µ与状态变化边界，表明更稳定快速的被控对象可提升收敛性能。
• Frank-Wolfe扩展确保了优化过程中的约束满足，避免了惩罚法可能因无法精确强制约束而导致的失败问题。
• 分析提供了对期望梯度估计误差的严格上界，其大小为O(√(η²D² + δ²))，其中D为输入集的直径。
• 理论框架通过基于李雅普诺夫函数的稳定性分析得到验证，该分析同时考虑了测量噪声与动态被控对象行为，确保对扰动的鲁棒性。