[论文解读] Distributed Continuous-Time Algorithm for Constrained Convex Optimizations via Nonsmooth Analysis Approach

Xianlin Zeng, Peng Yi+1 more|arXiv (Cornell University)|Oct 26, 2015

Distributed Control Multi-Agent Systems参考文献 19被引用 5

一句话总结

本文提出了一种用于带约束凸优化的分布式连续时间投影算法，采用原始-对偶动态和投影算子，确保收敛至共同最优解的同时保持状态有界。主要贡献在于通过非光滑李雅普诺夫函数和微分包含对收敛性进行了严格分析，适用于一般凸性条件，无需强凸性或有界辅助变量的假设。

ABSTRACT

This technical note studies the distributed optimization problem of a sum of nonsmooth convex cost functions with local constraints. At first, we propose a novel distributed continuous-time projected algorithm, in which each agent knows its local cost function and local constraint set, for the constrained optimization problem. Then we prove that all the agents of the algorithm can find the same optimal solution, and meanwhile, keep the states bounded while seeking the optimal solutions. We conduct a complete convergence analysis by employing nonsmooth Lyapunov functions for the stability analysis of differential inclusions. Finally, we provide a numerical example for illustration.

研究动机与目标

• 设计一种分布式连续时间算法，使各 agent 能够在仅知本地代价函数和本地约束集的前提下，联合最小化非光滑凸代价函数之和。
• 仅使用本地信息且不共享私有约束，确保所有 agent 收敛至同一最优解。
• 在优化过程中保证 agent 状态有界，克服了先前工作中辅助变量可能无界的局限性。
• 针对一般凸（非必然强凸）问题，利用非光滑分析和微分包含，提供完整的收敛性分析。
• 将现有连续时间分布式优化方法扩展至处理非光滑代价函数和一般局部约束集。

提出的方法

• 设计一种基于原始-对偶动态的分布式连续时间投影算法，各 agent 根据本地代价函数和本地约束集更新其状态。
• 算法引入投影算子以确保满足本地约束，保证解始终位于可行集中。
• 构建非光滑李雅普诺夫函数以分析稳定性，结合与原始变量、对偶变量以及到最优解距离相关的项。
• 由于代价函数的非光滑性，收敛性证明依赖于微分包含，稳定性通过非光滑分析工具进行分析。
• 定义复合李雅普诺夫函数 $ V^*(\mathbf{x}, \lambda) $ 为二次项与非光滑项之和，其导数几乎处处非正。
• 分析利用拉普拉斯矩阵 $ \mathbf{L} $、克罗内克积及特征值界等性质，确保李雅普诺夫函数沿轨迹递减。

实验结果

研究问题

• RQ1 当每个 agent 仅知其本地代价函数和本地约束集时，能否设计一种分布式连续时间算法，实现收敛至同一最优解？
• RQ2 在存在非光滑代价函数和局部约束的条件下，如何保证优化过程中 agent 状态的有界性？
• RQ3 能否将收敛性分析扩展至一般凸问题，而无需强凸性假设？
• RQ4 非光滑李雅普诺夫分析在证明源于非光滑优化的微分包含的收敛性中起什么作用？
• RQ5 与先前方法相比，该算法在状态有界性和对非强凸问题的适用性方面有何优势？

主要发现

• 所提算法即使在最优解集为连续统（由于一般凸性）的情况下，也能确保所有 agent 收敛至同一最优解。
• 所有 agent 的状态在优化过程中保持有界，优于先前工作，后者中辅助变量可能无界。
• 通过非光滑李雅普诺夫函数证明收敛，其导数几乎处处非正，表明渐近稳定性。
• 分析适用于一般凸性，无需强凸性假设，从而扩大了连续时间分布式优化方法的适用范围。
• 李雅普诺夫函数构造为 $ V^*(\mathbf{x}, \lambda) = V_1^*(\mathbf{x}, \lambda) + k V_2^*(\mathbf{x}, \lambda) $，所有分量非负，且导数非正，确保收敛性。
• 当无约束时，该算法退化为已知的连续时间分布式求解器，验证了与先前结果的一致性。