[论文解读] ADMM for Multiaffine Constrained Optimization

Wenbo Gao, Donald Goldfarb+1 more|arXiv (Cornell University)|Feb 26, 2018

Sparse and Compressive Sensing Techniques参考文献 56被引用 5

一句话总结

本文在较弱假设下建立了增广拉格朗日乘子法（ADMM）在具有多仿射约束的优化问题中的全局收敛性。证明了当惩罚参数ρ充分大时，ADMM收敛至约束驻点集合；若满足Kurdyka-Łojasiewicz性质，则即使在非凸和非光滑目标函数且含多个变量块的情况下，ADMM也收敛至唯一驻点。

ABSTRACT

We expand the scope of the alternating direction method of multipliers (ADMM). Specifically, we show that ADMM, when employed to solve problems with multiaffine constraints that satisfy certain verifiable assumptions, converges to the set of constrained stationary points if the penalty parameter in the augmented Lagrangian is sufficiently large. When the Kurdyka-Łojasiewicz (K-Ł) property holds, this is strengthened to convergence to a single constrained stationary point. Our analysis applies under assumptions that we have endeavored to make as weak as possible. It applies to problems that involve nonconvex and/or nonsmooth objective terms, in addition to the multiaffine constraints that can involve multiple (three or more) blocks of variables. To illustrate the applicability of our results, we describe examples including nonnegative matrix factorization, sparse learning, risk parity portfolio selection, nonconvex formulations of convex problems, and neural network training. In each case, our ADMM approach encounters only subproblems that have closed-form solutions.

研究动机与目标

• 将ADMM收敛性理论从线性约束问题推广至具有多仿射约束的问题。
• 在可验证假设下建立ADMM对约束驻点的全局收敛性，即使在非凸和非光滑目标函数下亦成立。
• 证明在非负矩阵分解和风险平价投资组合选择等关键应用中，ADMM子问题仍保持可解性（具有闭式解）。
• 在弱于先前工作的条件下提供收敛保证，特别是针对含三个或更多变量块的问题。
• 通过引入适用于多仿射约束的统一框架，整合并推广现有ADMM收敛结果。

提出的方法

• 提出一种针对具有多仿射约束问题的ADMM新收敛性分析框架，多仿射约束定义为：当其他变量块固定时，约束在每个变量块上均为仿射。
• 采用带惩罚参数ρ的增广拉格朗日函数形式，分析通过块逐次最小化与对偶上升步骤生成的迭代序列。
• 应用Kurdyka-Łojasiewicz（K-Ł）不等式，通过额外的正则性条件强化收敛至唯一驻点。
• 利用关于约束结构与变量分组的新技术引理，建立迭代序列有界性及次梯度收敛至零。
• 引入变量分块策略以解耦分析过程，使现有收敛工具可应用于多仿射设定。
• 依赖于可验证且尽可能弱的假设，包括变量有界性以及关键部分中约束雅可比矩阵的单射性。

实验结果

研究问题

• RQ1 在何种条件下，ADMM能对具有多仿射约束的优化问题实现全局收敛？
• RQ2 当满足Kurdyka-Łojasiewicz（K-Ł）性质时，ADMM是否能在非凸环境下收敛至唯一驻点？
• RQ3 在非负矩阵分解和风险平价投资组合选择等重要应用中，ADMM子问题是否仍具有闭式解？
• RQ4 惩罚参数ρ如何影响收敛性？收敛所需的最小ρ值是多少？
• RQ5 该收敛理论能否推广至含三个或更多变量块及非凸目标函数的问题？

主要发现

• 当惩罚参数ρ充分大且多仿射约束满足温和可验证假设时，ADMM全局收敛至约束驻点集合。
• 当满足Kurdyka-Łojasiewicz（K-Ł）性质时，ADMM收敛至唯一约束驻点，而非仅一个驻点集合。
• 该分析适用于非凸和/或非光滑目标函数，以及多个变量块（三个或以上）的问题。
• 在非负矩阵分解、稀疏学习和神经网络训练等关键应用中，ADMM所有子问题均具有闭式解。
• 收敛结果在假设条件上显著弱于先前工作，尤其在强凸性和块结构方面。
• 该框架统一并推广了现有ADMM收敛保证，将其扩展至更广泛的多仿射约束问题类别。