[论文解读] On the Convergence of Alternating Direction Lagrangian Methods for Nonconvex Structured Optimization Problems

Sindri Magnússon, Pradeep Chathuranga Weeraddana+2 more|arXiv (Cornell University)|Sep 29, 2014

Indoor and Outdoor Localization Technologies参考文献 12被引用 7

一句话总结

本文分析了两种分布式优化方法——交替方向惩罚法（ADPM）和ADMM——在非凸结构问题中的收敛性。研究建立了两种方法渐近满足一阶必要最优性条件的充分条件，其中ADMM被证明可收敛于一类低维非凸问题，该结论通过无线传感器网络定位案例研究得到验证。

ABSTRACT

Nonconvex and structured optimization problems arise in many engineering applications that demand scalable and distributed solution methods. The study of the convergence properties of these methods is in general difficult due to the nonconvexity of the problem. In this paper, two distributed solution methods that combine the fast convergence properties of augmented Lagrangian-based methods with the separability properties of alternating optimization are investigated. The first method is adapted from the classic quadratic penalty function method and is called the Alternating Direction Penalty Method (ADPM). Unlike the original quadratic penalty function method, in which single-step optimizations are adopted, ADPM uses an alternating optimization, which in turn makes it scalable. The second method is the well-known Alternating Direction Method of Multipliers (ADMM). It is shown that ADPM for nonconvex problems asymptotically converges to a primal feasible point under mild conditions and an additional condition ensuring that it asymptotically reaches the standard first order necessary conditions for local optimality are introduced. In the case of the ADMM, novel sufficient conditions under which the algorithm asymptotically reaches the standard first order necessary conditions are established. Based on this, complete convergence of ADMM for a class of low dimensional problems are characterized. Finally, the results are illustrated by applying ADPM and ADMM to a nonconvex localization problem in wireless sensor networks.

研究动机与目标

• 解决ADMM与基于惩罚的方法在非凸优化中缺乏理论收敛保证的问题，尽管其在实践中表现良好。
• 研究可扩展的分布式算法（如ADPM与ADMM）是否能在非凸设置下收敛至有意义的解。
• 提供理论条件，确保ADPM与ADMM渐近满足局部最优性的一阶必要条件。
• 通过无线传感器网络中的非凸协作定位问题，展示这些方法的实际适用性。
• 刻画一类低维非凸问题，其中ADMM的收敛性可保证达到一阶最优性。

提出的方法

• 提出ADPM，即一种基于二次惩罚法的分布式变体，采用交替最小化而非单步更新，从而提升可扩展性。
• 通过拆分增广拉格朗日函数子问题，对ADMM进行改进，以利用问题结构，实现分布式计算。
• 引入一种对偶变量更新规则（公式61），以改善收敛行为，尤其在非凸情形下。
• 在较弱假设下（包括无界梯度但有界对偶变量）建立理论收敛性，通过迭代序列有界性实现。
• 采用基于一致性（consensus-based）的优化问题重表述，以支持在网路中的分布式计算。
• 将方法应用于无线传感器网络中的非凸定位问题，采用对数距离路径损耗模型建模距离测量。

实验结果

研究问题

• RQ1 在何种条件下，ADPM可在非凸问题中渐近实现原始可行性，并满足一阶必要最优性条件？
• RQ2 何种充分条件可确保ADMM在非凸设置下渐近满足局部最优性的一阶必要条件？
• RQ3 ADMM是否可收敛至特定类低维非凸问题的一阶最优解？
• RQ4 与无对偶变量更新相比，包含对偶变量更新（公式61）如何影响收敛性能？
• RQ5 在如无线传感器网络定位等实际非凸应用中，ADPM与ADMM在多大程度上能获得良好解？

主要发现

• 在较弱假设下，ADPM可渐近实现原始可行性；若附加一个条件，则收敛至满足一阶必要最优性条件的点。
• ADMM在新型充分条件下可渐近满足局部最优性的一阶必要条件，且该条件适用于一类低维非凸问题。
• 数值结果表明，采用对偶变量更新的ADMM（如ADMM-1与ADMM-10）在共识误差与梯度范数衰减速度上优于DGD与无对偶更新的ADPM。
• 尽管存在非凸性与多个局部极小值，所有算法在传感器网络定位问题中均收敛至接近真实节点位置的可行解。
• ADMM-1与ADMM-10的代价函数值显著优于DGD与ADPM，尽管在某些情况下DGD生成的定位估计在视觉上更优。
• ADMM中的对偶变量随时间收敛，支持基于命题3的理论结论，该命题将对偶收敛与算法收敛相联系。