[论文解读] A Stochastic Proximal Point Algorithm for Saddle-Point Problems

Luo Luo, Cheng Chen+3 more|arXiv (Cornell University)|Sep 13, 2019

Stochastic Gradient Optimization Techniques参考文献 32被引用 9

一句话总结

本文提出了一种用于具有 $n$ 个强凸-强凹分量的凸-凹鞍点问题的随机近端点算法 Point SAGA。通过利用近端预言器和方差减少技术，该算法在条件数依赖性方面优于 Catalyst 框架，消除了一个对数项，从而在策略评估及其他应用中展现出更优的效率。

ABSTRACT

We consider saddle point problems which objective functions are the average of $n$ strongly convex-concave individual components. Recently, researchers exploit variance reduction methods to solve such problems and achieve linear-convergence guarantees. However, these methods have a slow convergence when the condition number of the problem is very large. In this paper, we propose a stochastic proximal point algorithm, which accelerates the variance reduction method SAGA for saddle point problems. Compared with the catalyst framework, our algorithm reduces a logarithmic term of condition number for the iteration complexity. We adopt our algorithm to policy evaluation and the empirical results show that our method is much more efficient than state-of-the-art methods.

研究动机与目标

• 解决现有方差减少方法在条件数极大时鞍点问题收敛缓慢的问题。
• 开发一种无需调整额外加速参数的随机近端点算法，以区别于 Catalyst 框架。
• 通过结合近端预言器与方差减少技术，实现对强凸-强凹鞍点问题的更快收敛。
• 在实际问题（如强化学习中的策略评估）中展示其优越性。

提出的方法

• 该算法将原本用于凸优化的 Point SAGA 扩展至鞍点问题，对每个分量函数 $f_i$ 使用近端预言器。
• 在每次迭代中，计算随机选择的分量 $f_i$ 的近端算子，参数为 $\gamma$，在许多应用中可高效求解。
• 维护过去梯度的运行平均值，并使用方差减少的更新规则以确保线性收敛。
• 通过将增广目标函数的梯度设为零，推导出近端算子所对应的线性方程组。
• 利用 Woodbury 恒等式在 $\mathcal{O}(d)$ 时间内计算解，从而实现高效的每次迭代复杂度。
• 收敛性分析表明，其收敛速率为 $\tilde{\mathcal{O}}(1/K)$，且在条件数依赖性方面优于基于 Catalyst 的方法。

实验结果

研究问题

• RQ1 随机近端点算法能否在高条件数的鞍点问题上实现比现有方差减少方法更快的收敛速度？
• RQ2 消除条件数依赖中的对数因子是否能带来实际性能提升？
• RQ3 近端预言器框架能否有效从凸优化扩展至凸-凹鞍点问题？
• RQ4 与基于 Catalyst 的加速方法相比，Point SAGA 在迭代次数和调参需求方面表现如何？
• RQ5 该算法能否在强化学习中的策略评估任务中实现高效应用并取得实际性能增益？

主要发现

• 所提出的 Point SAGA 算法在条件数依赖性方面相比 Catalyst 框架消除了一个对数因子，实现了线性收敛速率。
• 该算法所需迭代次数少于基于 Catalyst 的方法，且无需调整额外的加速参数，更具实用性。
• 在策略评估任务上的实验结果表明，Point SAGA 在收敛速度和稳定性方面优于当前最先进的方法。
• 通过使用 Woodbury 恒等式，EM-MSPBE 公式中的近端算子可在 $\mathcal{O}(d)$ 时间内计算，确保了高效的每次迭代复杂度。
• 理论分析证实，平均迭代点的期望平方误差以 $\mathcal{O}(1/K)$ 的速率衰减，其界依赖于 $\frac{2\sqrt{n}BR}{\mu} + R^2$。
• 最优步长参数 $\gamma$ 推导为 $\gamma = \frac{R}{B\sqrt{n}}$，可使收敛界最小化。