[论文解读] Exponentially Convergent Algorithm Design for Constrained Distributed Optimization via Non-smooth Approach

Weijian Li, Xianlin Zeng+2 more|arXiv (Cornell University)|Jan 2, 2020

Distributed Control Multi-Agent Systems参考文献 32被引用 6

一句话总结

该论文提出了一种新颖的分布式连续时间算法，用于具有非光滑目标函数的约束优化问题，采用通过微分包含和精确罚函数重构的非光滑方法。对于强凸问题，该算法实现了到最优解的指数收敛——这是该设置下的首个此类结果。

ABSTRACT

We consider minimizing a sum of non-smooth objective functions with set constraints in a distributed manner. As to this problem, we propose a distributed algorithm with an exponential convergence rate for the first time. By the exact penalty method, we reformulate the problem equivalently as a standard distributed one without consensus constraints. Then we design a distributed projected subgradient algorithm with the help of differential inclusions. Furthermore, we show that the algorithm converges to the optimal solution exponentially for strongly convex objective functions.

研究动机与目标

• 设计一种具有指数收敛性的分布式算法，用于涉及非光滑目标函数的约束优化问题。
• 解决在具有局部集合约束的分布式优化中实现指数收敛的挑战，此前的方法仅能达到次线性或$O(1/t)$的收敛速率。
• 通过精确罚函数法消除一致性约束，避免引入对偶变量并降低计算复杂度。
• 利用微分包含和李雅普诺夫稳定性分析，为非光滑动力学建立严格的收敛性保证。

提出的方法

• 使用精确罚函数法将原始约束问题转化为等价的非一致性形式，从而消除对对偶变量的需求。
• 基于投影次梯度动力学设计一种分布式连续时间算法，采用对约束集切锥的微分投影算子。
• 利用微分包含建模次梯度动力学，以处理非光滑目标函数。
• 引入时变投影算子，使其适应局部约束集，并在每一步确保可行性。
• 应用李雅普诺夫稳定性理论证明指数收敛，利用强凸性和度量次正则性假设。
• 采用欧拉离散化进行数值实现，固定步长下保持$\mathcal{O}(\alpha)$的近似精度。

实验结果

研究问题

• RQ1 能否设计一种分布式算法，实现对具有局部集合约束的非光滑、约束优化问题的指数收敛？
• RQ2 如何在不引入对偶变量的情况下消除一致性约束，同时保持最优性？
• RQ3 微分投影算子在确保可行性和加速收敛方面发挥何种作用？
• RQ4 在何种条件下，即使存在非光滑性，投影次梯度动力学仍能实现指数收敛？
• RQ5 与同类问题的现有原始-对偶方法相比，所提出的算法是否具有更高的计算效率？

主要发现

• 所提出的算法对强凸目标函数实现了到最优解的指数收敛，满足$V(t) \leq V(0)e^{-\beta t}$，其中$\beta$为强凸性参数。
• 该算法是首个在具有集合约束的分布式非光滑优化中实现指数收敛的算法，优于以往$O(1/\sqrt{k})$和$O(1/t)$的收敛速率。
• 精确罚函数法成功消除了一致性约束，简化了算法设计，并降低了通信与计算开销。
• 数值仿真验证了李雅普诺夫函数$V(t)$的收敛性及指数衰减特性，表现为$\log(V(t))$随时间线性下降。
• 该方法通过次梯度动力学处理非光滑目标函数，并通过将解投影到约束集的切锥上保持可行性。
• 该方法对网络拓扑具有鲁棒性，已在4个和30个节点的星型图与环形图上得到验证。