[论文解读] Iteration-complexity of a Jacobi-type non-Euclidean ADMM for multi-block linearly constrained nonconvex programs

Jefferson G. Melo, Renato D. C. Monteiro|arXiv (Cornell University)|May 20, 2017

Sparse and Compressive Sensing Techniques参考文献 36被引用 8

一句话总结

该论文建立了用于求解多块线性约束非凸规划问题的雅可比型非欧几里得ADMM的迭代复杂度，支持并行子问题求解，并允许松弛参数 θ ∈ (0,2)。证明了在广义平稳性条件下达到 ρ-最优性的 O(ρ⁻²) 迭代复杂度界。

ABSTRACT

This paper establishes the iteration-complexity of a Jacobi-type non-Euclidean proximal alternating direction method of multipliers (ADMM) for solving multi-block linearly constrained nonconvex programs. The subproblems of this ADMM variant can be solved in parallel and hence the method has great potential to solve large scale multi-block linearly constrained nonconvex programs. Moreover, our analysis allows the Lagrange multiplier to be updated with a relaxation parameter in the interval (0, 2).

研究动机与目标

• 解决现有非凸多块ADMM变体在并行子问题求解场景下缺乏迭代复杂度分析的问题。
• 提出一种雅可比型非欧几里得ADMM，允许独立求解子问题，从而提升大规模问题的可扩展性。
• 建立收敛保证，其中松弛参数 θ ∈ (0,2)，扩展了传统方法中 θ = 1 或 θ ≤ (√5+1)/2 的限制。
• 为非凸问题在广义平稳性条件下实现 ρ-最优性，提供 O(ρ⁻²) 的迭代复杂度界。
• 通过利用Bregman距离和势函数下降，弥合非凸ADMM在收敛分析与迭代复杂度之间的差距。

提出的方法

• 提出一种雅可比型非欧几里得ADMM，其中每个块子问题通过Bregman距离（dw_i）正则化增广拉格朗日函数独立求解。
• 采用松弛参数 θ ∈ (0,2) 更新对偶变量 λ^k = λ^{k-1} - θβ(∑A_i x_i^k - b)，以实现更快收敛和更高稳定性。
• 基于距离生成函数引入非欧几里得邻近项（dw_i），以处理目标函数中非光滑和非二次的分量。
• 通过结合增广拉格朗日函数与邻近项的势函数进行方法分析，在较弱假设下证明其下降性质。
• 通过证明势函数足够快地下降，建立收敛性，并导出 O(ρ⁻²) 的迭代复杂度界。
• 利用Kurdyka-Łojasiewicz性质和 ∇f_p 的Lipschitz连续性，控制次梯度与对偶不可行性。

实验结果

研究问题

• RQ1 用于求解多块线性约束非凸优化问题的雅可比型非欧几里得ADMM的迭代复杂度是什么？
• RQ2 在保持收敛性和复杂度保证的前提下，松弛参数 θ 是否可以扩展至 (0,2) 而非仅限于 1？
• RQ3 使用非欧几里得Bregman距离如何影响非凸问题中ADMM的收敛性与复杂度？
• RQ4 在何种假设下，该方法可实现 O(ρ⁻²) 的迭代复杂度界以达到 ρ-最优性？
• RQ5 在非凸设置下，是否可以并行求解子问题而不损失收敛性或复杂度界？

主要发现

• 该方法实现了 O(ρ⁻²) 的迭代复杂度界，以找到满足广义平稳性条件且在容忍度 ρ 内的点。
• 松弛参数 θ 可在完整区间 (0,2) 内选择，相比先前工作限制 θ ≤ (√5+1)/2 的情况，提升了灵活性与收敛速度。
• 由于采用雅可比型结构，子问题可并行求解，使该方法在大规模多块问题中具有高度可扩展性。
• 分析基于 A_p 满行秩且 f_p 可微且梯度Lipschitz连续的假设，确保了足够的正则性。
• 分析中使用的势函数足够快地下降，从而支持 O(ρ⁻²) 复杂度界的推导。
• 该方法通过允许非欧几里得邻近项和更广范围的松弛参数，在非凸设置下推广了先前结果。