[论文解读] The proximal point method revisited

Dmitriy Drusvyatskiy|arXiv (Cornell University)|Dec 17, 2017

Numerical methods in inverse problems参考文献 52被引用 33

一句话总结

本文重新审视近端点法作为大规模优化的实用且理论基础坚实的框架，展示了其在设计弱凸随机逼近、通过近端线性法实现复合凸-光滑最小化，以及通过Catalyst框架通用加速正则化经验风险最小化方面的角色。关键贡献在于表明，近端方法可超越其传统的概念性角色，产生可证明快速、可解释且可实现的算法。

ABSTRACT

In this short survey, I revisit the role of the proximal point method in large scale optimization. I focus on three recent examples: a proximally guided subgradient method for weakly convex stochastic approximation, the prox-linear algorithm for minimizing compositions of convex functions and smooth maps, and Catalyst generic acceleration for regularized Empirical Risk Minimization.

研究动机与目标

• 重新评估近端点法作为优化中超越其传统概念性角色的实用算法框架。
• 展示近端方法如何指导现代大规模问题中高效数值算法的设计与分析。
• 表明基于近端的算法在弱凸随机逼近和正则化经验风险最小化等场景中，可实现快速收敛速率并具备清晰的理论保证。
• 通过近端点理论的视角，统一并推广近期在加速和次梯度方法方面的进展。

提出的方法

• 使用近端点迭代：$ x_{t+1} \in \mathrm{prox}_{\nu f}(x_t) $，对应于通过二次惩罚求解一个正则化子问题。
• 利用Moreau包络 $ f_\nu(z) = \inf_x \{ f(x) + \frac{1}{2\nu}\|x - z\|^2 \} $ 作为 $ f $ 的光滑近似，从而支持基于梯度的方法。
• 将近端点法应用于 $ \rho $-弱凸函数，其中 $ f(x) + \frac{\rho}{2}\|x\|^2 $ 是凸的，确保当 $ \nu < \rho^{-1} $ 时子问题为凸。
• 采用梯度公式 $ \nabla f_\nu(x) = \nu^{-1}(x - \mathrm{prox}_{\nu f}(x)) $，将近端步骤与Moreau包络上的梯度下降联系起来。
• 引入Catalyst框架作为通用加速机制，将近端点思想应用于正则化ERM的方差缩减方法，实现迭代复杂度的改进。
• 在近端背景下引入惯性与动量，以加速非凸和弱凸问题，且对收敛速度提供理论保证。

实验结果

研究问题

• RQ1 近端点法能否用于设计大规模优化问题的实用且可证明收敛的算法？
• RQ2 近端点法如何适应在随机和复合优化中出现的弱凸函数？
• RQ3 近端正则化在实现正则化经验风险最小化加速中的作用是什么？
• RQ4 近端点框架能否统一并加速机器学习中现有的方差缩减方法？
• RQ5 惯性与近端步骤的结合如何在非凸和弱凸设置中提升收敛性？

主要发现

• 当与迭代求解器及适当的参数选择结合时，近端点法可产生实用且理论可靠的大型优化算法。
• 对于满足 $ \nu < \rho^{-1} $ 的 $ \rho $-弱凸函数，近端子问题为凸且全局可解，可通过标准方法高效求解。
• Moreau包络 $ f_\nu $ 是 $ C^1 $-光滑的，且近端点迭代等价于在 $ f_\nu $ 上的梯度下降，从而可通过 $ \|x_t - x_{t+1}\| $ 自然地设定终止准则。
• Catalyst框架实现了复杂度 $ \widetilde{O}\left(\frac{\sqrt{\mu + \kappa}}{\tau \sqrt{\mu}} \ln(1/\varepsilon)\right) $，实现了对ERM问题中方差缩减方法的加速。
• 近端线性算法在最小化凸与光滑函数复合时，在温和条件下实现全局收敛，并具有局部超线性收敛速率。
• 惯性与近端步骤的结合在 $ C^2 $ 和 $ C^3 $ 光滑非凸问题中，可实现比梯度下降更快的可证明收敛速度，表明近端方法在凸性之外也具有巨大潜力。