[论文解读] Online Optimization with Feedback

Andrey Bernstein, Emiliano Dall’Anese+1 more|arXiv (Cornell University)|Apr 14, 2018

Distributed Control Multi-Agent Systems被引用 6

一句话总结

本文提出了一种基于在线反馈的优化算法，采用原始-对偶投影梯度法，以解决动态系统中的时变凸优化问题。通过结合实时反馈与正则化拉格朗日函数，该方法在存在模型失配且无需外部输入测量的情况下，仍能实现对最优轨迹的Q线性收敛。

ABSTRACT

This paper addresses the design and analysis of feedback-based algorithms to control systems or networked systems based on performance objectives and engineering constraints that may evolve over time. The emerging time-varying convex optimization formalism is leveraged to model optimal operational trajectories of the systems, as well as explicit local and network-level operational constraints. Departing from existing batch and feed-forward optimization approaches, the design of the algorithms capitalizes on an implementation of primal-dual projected-gradient methods; the gradient steps are, however, suitably modified to accommodate actionable feedback from the system - hence, the term online optimization with feedback. By virtue of this approach, the resultant algorithms can cope with model mismatches in the algebraic representation of the system states and outputs, it avoids pervasive measurements of exogenous inputs, and it naturally lends itself to a distributed implementation. Under suitable assumptions, analytical convergence claims are established in terms of dynamic regret. Moreover, when the synthesis of the feedback-based algorithm is based on a regularized Lagrangian function, Q-linear convergence to solutions of the time-varying optimization problem is shown.

研究动机与目标

• 解决在存在时变目标和约束条件下，利用实时反馈控制动态系统所面临的挑战。
• 通过实现自适应、实时决策，克服批处理和前馈优化方法的局限性。
• 设计对系统状态和输出表示中模型失配具有鲁棒性的算法。
• 在无需掌握外部输入完整信息的情况下，支持在联网系统中实现分布式计算。
• 通过动态遗憾和正则化拉格朗日函数，在时变条件下建立理论收敛保证。

提出的方法

• 该方法采用原始-对偶投影梯度迭代来求解时变凸优化问题。
• 通过引入系统可操作的反馈，对梯度步骤进行修改，实现在线自适应。
• 使用正则化拉格朗日函数以稳定优化过程并改善收敛性。
• 通过聚焦于系统反馈，避免依赖对外部输入的测量。
• 通过反馈驱动的更新，适应状态和输出表示中的模型失配。
• 该方法天然支持在具有局部约束的联网系统中实现分布式计算。

实验结果

研究问题

• RQ1 如何有效将反馈整合到在线优化中，以处理时变系统的目标和约束？
• RQ2 在动态、时变环境下，反馈驱动算法的收敛性可建立何种理论保证？
• RQ3 拉格朗日函数的正则化在在线优化中如何改善收敛行为？
• RQ4 所提方法如何处理系统状态和输出表示中的模型不准确性？
• RQ5 该算法是否可在不测量外部输入的情况下实现分布式部署？

主要发现

• 当使用正则化拉格朗日函数时，所提出的基于反馈的算法可实现对时变优化问题解的Q线性收敛。
• 收敛性通过动态遗憾进行衡量，为时变环境下的性能提供了理论保证。
• 该方法对系统状态和输出代数表示中的模型失配具有鲁棒性。
• 它消除了对外部输入广泛测量的需求，转而依赖可操作的反馈。
• 该算法支持适用于具有局部和全局约束的联网系统的分布式实现。
• 理论分析证实，反馈机制可在系统条件动态演变时实现稳定且自适应的优化。