[论文解读] Iteration Complexity of Randomized Primal-Dual Methods for Convex-Concave Saddle Point Problems

Erfan Yazdandoost Hamedani, Afrooz Jalilzadeh+2 more|arXiv (Cornell University)|Jun 11, 2018

Stochastic Gradient Optimization Techniques参考文献 23被引用 15

一句话总结

本文提出了一种用于大规模凸-凹鞍点问题的随机原始-对偶方法，该问题具有包含坐标独立项和联合项的复合结构。在对耦合函数 $Φ$ 做出温和光滑性假设的前提下，该方法在凸情况下实现了 $Ó(m/k)$ 的遍历收敛速率，在原始函数为一致强凸的情况下实现了 $Ó(m/k^2)$ 的收敛速率，相较于现有方法展现出更优的迭代复杂度。

ABSTRACT

In this paper we propose a class of randomized primal-dual methods to contend with large-scale saddle point problems defined by a convex-concave function $\mathcal{L}(\mathbf{x},y) riangleq\sum_{i=1}^m f_i(x_i)+\Phi(\mathbf{x},y)-h(y)$. We analyze the convergence rate of the proposed method under the settings of mere convexity and strong convexity in $\mathbf{x}$-variable. In particular, assuming $ abla_y\Phi(\cdot,\cdot)$ is Lipschitz and $ abla_\mathbf{x}\Phi(\cdot,y)$ is coordinate-wise Lipschitz for any fixed $y$, the ergodic sequence generated by the algorithm achieves the convergence rate of $\mathcal{O}(m/k)$ in a suitable error metric where $m$ denotes the number of coordinates for the primal variable. Furthermore, assuming that $\mathcal{L}(\cdot,y)$ is uniformly strongly convex for any $y$, and that $\Phi(\cdot,y)$ is linear in $y$, the scheme displays convergence rate of $\mathcal{O}(m/k^2)$. We implemented the proposed algorithmic framework to solve kernel matrix learning problem, and tested it against other state-of-the-art solvers.

研究动机与目标

• 解决机器学习与优化中出现的大规模凸-凹鞍点问题。
• 开发一种随机原始-对偶算法，以高效处理原始变量与对偶变量中具有可分项与耦合项的问题。
• 建立以坐标数 $m$ 与迭代次数 $k$ 表示的收敛迭代复杂度边界。
• 在原始变量仅具凸性与强凸性假设下分析收敛性。
• 在核矩阵学习任务上通过实验验证该方法，并与当前最先进的求解器进行比较。

提出的方法

• 该算法在原始变量 $·bf{x}$ 上采用随机坐标更新，对偶变量 $y$ 通过梯度步长进行更新。
• 假设 $\nabla_y\Phi(\cdot,\cdot)$ 是利普希茨连续的，且对固定的 $y$，$\nabla_\mathbf{x}\Phi(\cdot,y)$ 在坐标上是利普希茨连续的。
• 通过采用合适的误差度量分析遍历迭代序列，以建立收敛速率。
• 当原始变量函数为强凸时，该方法利用 $\Phi(\cdot,y)$ 中的线性耦合结构，实现更快的 $\mathcal{O}(m/k^2)$ 收敛速率。
• 通过将核矩阵学习问题形式化为具有结构化 $\Phi$ 的鞍点问题，将该方法应用于该问题。
• 采用随机更新策略以降低每次迭代的计算成本，尤其在 $m$ 较大时效果显著。

实验结果

研究问题

• RQ1 对于具有可分项与耦合项的凸-凹鞍点问题，随机原始-对偶方法的迭代复杂度是多少？
• RQ2 在凸性假设下，收敛速率如何依赖于坐标数 $m$ 与迭代次数 $k$？
• RQ3 当原始函数为一致强凸时，能否实现更快的收敛速度？
• RQ4 $\Phi(\cdot,y)$ 的结构在决定收敛速度方面起到何种作用？
• RQ5 在实际应用中，该方法与当前最先进的求解器相比表现如何？

主要发现

• 在仅具凸性与利普希茨光滑性假设下，该算法实现了 $\mathcal{O}(m/k)$ 的遍历收敛速率。
• 当原始函数为一致强凸且 $\Phi(\cdot,y)$ 关于 $y$ 为线性时，收敛速率提升至 $\mathcal{O}(m/k^2)$。
• 收敛速率明确依赖于坐标数 $m$，表明其在问题维度上的可扩展性。
• 与标准子梯度法相比，该方法在鞍点问题上展现出更优的迭代复杂度。
• 在核矩阵学习上的实验结果表明，该方法与当前最先进的求解器相比具有竞争力。
• 理论边界是紧致的，准确反映了坐标光滑性与强凸性的影响。