[论文解读] A Decentralized Proximal Point-type Method for Saddle Point Problems

Weijie Liu, Aryan Mokhtari+4 more|arXiv (Cornell University)|Oct 31, 2019

Advanced Optimization Algorithms Research参考文献 54被引用 15

一句话总结

该论文提出了一种去中心化近端点类型算法（DPPSP），用于在分布式网络环境中求解非凸非凹鞍点问题，其中每个节点持有全局目标函数的局部分量。该方法在 ρ-弱凸-弱凹或 Minty 变分不等式条件下，实现了到近似驻点的 O(1/√T) 收敛速率，这是首个针对去中心化非凸非凹极小极大问题的此类理论保证。

ABSTRACT

In this paper, we focus on solving a class of constrained non-convex non-concave saddle point problems in a decentralized manner by a group of nodes in a network. Specifically, we assume that each node has access to a summand of a global objective function and nodes are allowed to exchange information only with their neighboring nodes. We propose a decentralized variant of the proximal point method for solving this problem. We show that when the objective function is $ρ$-weakly convex-weakly concave the iterates converge to approximate stationarity with a rate of $\mathcal{O}(1/\sqrt{T})$ where the approximation error depends linearly on $\sqrtρ$. We further show that when the objective function satisfies the Minty VI condition (which generalizes the convex-concave case) we obtain convergence to stationarity with a rate of $\mathcal{O}(1/\sqrt{T})$. To the best of our knowledge, our proposed method is the first decentralized algorithm with theoretical guarantees for solving a non-convex non-concave decentralized saddle point problem. Our numerical results for training a general adversarial network (GAN) in a decentralized manner match our theoretical guarantees.

研究动机与目标

• 开发一种用于求解约束型非凸非凹鞍点问题的去中心化算法，其中每个节点持有全局目标函数的局部分量。
• 在弱凸-凹假设（如 ρ-弱凸-弱凹或 Minty 变分不等式条件）下，确保收敛至一阶驻点。
• 在仅依赖邻居间局部通信、无需全局协调的完全去中心化设置中，实现理论收敛保证。
• 在去中心化生成对抗网络（GAN）训练中对方法进行数值验证，结果与理论预测一致。

提出的方法

• 提出一种去中心化近端点方法（DPPSP），通过使用本地信息和一致性约束，交替更新原始变量（x, y）和对偶变量（q）。
• 在增广拉格朗日函数中引入近端正则化项，以在非凸非凹设置中稳定迭代并确保收敛。
• 采用基于一致性的 ADMM 类更新方案，其中每个节点仅与邻居通信，以在全网范围内强制实现本地变量的一致性。
• 通过变分不等式分析推导收敛性，表明迭代满足与一阶最优性条件相关的单调算子条件。
• 引入随机迭代选择策略，以有界化梯度类残差和一致性违反的期望范数。
• 通过在原始变量与对偶变量乘积空间中的李雅普诺夫函数分析收敛性，利用近端点方法的结构特性。

实验结果

研究问题

• RQ1 去中心化算法能否在非凸非凹鞍点问题中收敛至一阶驻点？
• RQ2 在 ρ-弱凸-弱凹或 Minty VI 条件等弱凸-凹假设下，可保证的收敛速率是多少？
• RQ3 在仅依赖局部通信、无全局协调的完全去中心化网络中，是否能够保持理论收敛保证？
• RQ4 该算法在大规模机器学习任务（如去中心化 GAN 训练）中的实际表现如何？

主要发现

• DPPSP 算法在 ρ-弱凸-弱凹问题中实现了 O(1/√T) 收敛速率至近似驻点，近似误差与 √ρ 线性相关。
• 在 Minty 变分不等式条件下，该方法仍能实现 O(1/√T) 收敛速率至驻点，将结果拓展至凸-凹以外的区域。
• 一致性违反的期望范数 ∥Uz^s∥² 被有界为 O(1/T)，确保各节点的本地变量收敛至同一值。
• 梯度类残差的期望范数 ∥∑ₙ(Bₙ(zₙ^{s+1}) + Rₙ(zₙ^{s+1}))∥² 被有界为 O(1/T)，表明收敛至驻点。
• 在去中心化 GAN 训练中的数值实验表明，该算法与理论收敛速率一致，验证了方法的实际有效性。
• 据作者所知，DPPSP 是首个在非凸非凹鞍点问题中具备理论收敛保证的去中心化算法。