[论文解读] Accelerated, Optimal, and Parallel: Some Results on Model-Based Stochastic Optimization

Karan N. Chadha, Gary Cheng+1 more|arXiv (Cornell University)|Jan 7, 2021

Stochastic Gradient Optimization Techniques参考文献 45被引用 5

一句话总结

本文提出了一种加速、最优且并行的基于模型的随机优化方法，可在小批量大小上实现线性加速，达到与小批量大小成比例的最优收敛速率。通过将 aProx 框架扩展至小批量和加速设置，作者提供了非渐近收敛保证，并为插值问题建立了新的基本常数，证明了其在标准随机梯度方法上的鲁棒性和可扩展性优势。

ABSTRACT

We extend the Approximate-Proximal Point (aProx) family of model-based methods for solving stochastic convex optimization problems, including stochastic subgradient, proximal point, and bundle methods, to the minibatch and accelerated setting. To do so, we propose specific model-based algorithms and an acceleration scheme for which we provide non-asymptotic convergence guarantees, which are order-optimal in all problem-dependent constants and provide linear speedup in minibatch size, while maintaining the desirable robustness traits (e.g. to stepsize) of the aProx family. Additionally, we show improved convergence rates and matching lower bounds identifying new fundamental constants for "interpolation" problems, whose importance in statistical machine learning is growing; this, for example, gives a parallelization strategy for alternating projections. We corroborate our theoretical results with empirical testing to demonstrate the gains accurate modeling, acceleration, and minibatching provide.

研究动机与目标

• 开发可并行化且支持小批量的基于模型的优化方法，以克服现有 aProx 方法的顺序性。
• 提供依赖于梯度估计方差的非渐近收敛保证，从而实现小批量大小的线性加速。
• 识别并分析插值问题中的新基本问题常数，这些常数在现代机器学习中日益重要。
• 设计 aProx 方法的加速变体，实现最优收敛速率并增强对超参数调优的鲁棒性。
• 通过全面实验，实证验证理论分析中获得的鲁棒性、加速性和模型精度方面的优势。

提出的方法

• 通过使用满足凸性和局部精度条件的客观函数模型 $ F(x; s) $，将 aProx 框架扩展至小批量设置。
• 提出一种基于 Nesterov 风格动量的新加速方案，采用涉及 $ x_k, y_k, z_k $ 的三点更新规则，以及一组步长参数 $ \theta_k, \alpha_k, \eta_k $。
• 利用 Fenchel-Young 不等式和 Bregman 散度 $ D_h $ 的强凸性，推导单步进展界，从而得到递归误差界。
• 引入一种新颖的误差分解 $ \zeta_k = e_k + \langle \xi_k, z_k - y_k \rangle + \frac{\|\xi_k\|_*^2 - \sigma_0^2}{2\alpha_k} $，以处理模型误差和随机误差。
• 通过对误差界进行递归求和，并在 Bregman 散度上应用错位求和，推导收敛速率。
• 采用特定的参数选择 $ \theta_k = \frac{2}{k+2} $，$ \eta_k = \eta_0 \frac{2\sqrt{k}}{k+2} $，以及 $ \alpha_k = \frac{1}{L\theta_k + \eta_k} $，以实现最优收敛。

实验结果

研究问题

• RQ1 aProx 家族的基于模型方法能否在保持收敛保证和鲁棒性的前提下，扩展至支持小批量？
• RQ2 在依赖方差的误差界下，基于模型的随机优化的最优收敛速率是什么？
• RQ3 加速如何影响基于模型方法的收敛性？能否实现阶最优？
• RQ4 在插值问题中，哪些新的基本常数决定了收敛难度？它们如何影响并行效率？
• RQ5 更精确的模型和小批量处理能否在实践中带来鲁棒性和速度的提升？

主要发现

• 所提方法在小批量大小上实现了线性加速，将收敛速率从 $ 1/\sqrt{k} $ 降低至 $ 1/\sqrt{km} $，与标准梯度方法一致。
• 加速的 aProx 变体在适当参数选择下实现了阶最优收敛速率，满足 $ \mathbb{E}[f(x_k)+r(x_k)-f(x^*)-r(x^*)] \leq \mathcal{O}(1/k^2) $。
• 对于插值问题，本文识别出一种新的增长条件作为收敛难度的基本决定因素，并为该类问题提供了匹配的下界。
• 该方法在步长选择和噪声方面表现出更强的鲁棒性，在实证评估中优于标准随机梯度方法。
• 理论分析确认，误差界在 $ \sigma^2 $-有界噪声下呈 $ \mathcal{O}(1/\sqrt{k}) $ 的尺度，而加速方案实现了 $ \mathcal{O}(1/k^2) $ 的收敛速率。
• 实证结果表明，精确建模和小批量处理显著提升了收敛速度和稳定性，尤其在病态条件或噪声较大的场景下。