[论文解读] Improving Fast Dual Ascent for MPC - Part I: The Distributed Case

Pontus Giselsson|arXiv (Cornell University)|Dec 11, 2013

Advanced Control Systems Optimization参考文献 22被引用 6

一句话总结

该论文提出了一种用于分布式模型预测控制（DMPC）的分布式并行快速对偶上升算法，通过使用非均匀二次上界来逼近对偶函数，从而提升收敛速度，取代了标准的各向同性近似。关键贡献在于对有效曲率矩阵的表征，以实现更紧致的对偶函数逼近，从而实现更快收敛，并支持完全分布式步长选择，无需集中式计算。

ABSTRACT

In dual decomposition, the dual to an optimization problem with a specific structure is solved in distributed fashion using (sub)gradient and recently also fast gradient methods. The traditional dual decomposition suffers from two main short-comings. The first is that the convergence is often slow, although fast gradient methods have significantly improved the situation. The second is that computation of the optimal step-size requires centralized computations, which hinders a fully distributed implementation of the algorithm. In this paper, the first issue is addressed by providing a tighter characterization of the dual function than what has previously been reported in the literature. Then a distributed and a parallel algorithm are presented in which the provided dual function approximation is minimized in each step. Since the approximation is more accurate than the approximation used in standard and fast dual decomposition, the convergence properties are improved. For the second issue, we extend a recent result to allow for a fully distributed parameter selection in the algorithm. Further, we show how to apply the proposed algorithms to optimization problems arising in distributed model predictive control (DMPC) and show that the proposed distributed algorithm enjoys distributed reconfiguration, i.e. plug-and-play, in the DMPC context.

研究动机与目标

• 通过改进对偶函数的逼近方法，解决分布式优化中对偶分解的收敛速度慢的问题。
• 克服快速对偶上升中集中式步长计算的局限性，该局限性阻碍了完全分布式实现。
• 通过完全分布式初始化和参数选择，实现分布式模型预测控制（DMPC）中的即插即用（分布式重构）功能。
• 利用结构化矩阵表征，开发对负对偶函数的更紧致、非均匀的二次上界。
• 在迭代次数和执行时间方面，证明所提方法优于现有方法，包括快速对偶分解和对偶牛顿-CG方法。

提出的方法

• 引入一种广义的二次上界来逼近负对偶函数，其曲率可变，由对称正定矩阵 L 参数化，而非标量的利普希茨常数。
• 表征可用于强凸问题中对偶函数上界的合法矩阵 L 的集合，推广了基于均匀曲率的先前工作。
• 提出一种分布式算法（算法3），使用块对角 L 矩阵，以实现对偶上升步骤的完全分布式计算。
• 开发一种并行算法（算法4），采用全局 L 矩阵（L = A H⁻¹ Aᵀ），以实现更快收敛，需集中式初始化，但可加快迭代执行速度。
• 通过分布式近似系统矩阵的 2-范数，实现无需集中计算的步长计算，从而支持即插即用型重构。
• 将算法应用于 DMPC 问题，其中问题结构允许实现分布式初始化、重构以及高效本地子问题求解。

实验结果

研究问题

• RQ1 与各向同性上界相比，使用可变曲率的非均匀二次上界是否能提升对偶分解中的收敛性能？
• RQ2 是否可能以完全分布式方式计算最优步长，避免对全局系统范数的集中式计算？
• RQ3 所提算法是否能在无需全局协调的情况下，支持分布式模型预测控制（DMPC）中的即插即用重构？
• RQ4 在迭代次数和执行时间方面，所提分布式与并行算法相较于快速对偶分解和对偶牛顿-CG 方法的性能如何？
• RQ5 在所提分布式算法与并行变体之间，通信负载与每轮迭代复杂度之间的权衡是什么？

主要发现

• 所提分布式算法（算法3，采用块对角 L 矩阵）相比快速对偶分解显著降低了通信负担，且迭代次数大幅减少。
• 在 2000 个子系统的问题中，所提算法的平均执行时间低于 4 分钟，而 Kozma 等人（2014）的对偶牛顿-CG 方法超过 41 分钟，且全批量处理耗时超过 6 天。
• 并行算法（算法4）由于通信轮次更少且曲率逼近更紧致，平均执行时间快于分布式版本。
• 分布式算法在迭代次数上优于传统对偶分解一个数量级以上，证实了使用改进曲率逼近的快速梯度方法的优势。
• 所提方法实现了完全分布式初始化与重构，而标准快速对偶上升方法则需集中式范数计算以选择步长。
• 性能提升归因于使用结构化、非均匀曲率矩阵对对偶函数进行了更紧致的逼近，其对函数形状的捕捉优于各向同性上界。