[论文解读] Stochastic Subspace Descent

David Kozak, Stephen Becker+2 more|arXiv (Cornell University)|Apr 1, 2019

Stochastic Gradient Optimization Techniques参考文献 87被引用 8

一句话总结

本文提出随机子空间下降（Stochastic Subspace Descent, SSD），一种无导数优化方法，通过将梯度投影到随机低维子空间，实现在函数评估代价高昂且无梯度信息时的高效、可扩展优化。该方法在凸性假设下实现收敛，并在机器学习和PDE约束优化的非凸问题中优于梯度下降和BFGS方法，包括高斯过程超参数调优和形状优化。

ABSTRACT

We present two stochastic descent algorithms that apply to unconstrained optimization and are particularly efficient when the objective function is slow to evaluate and gradients are not easily obtained, as in some PDE-constrained optimization and machine learning problems. The basic algorithm projects the gradient onto a random subspace at each iteration, similar to coordinate descent but without restricting directional derivatives to be along the axes. This algorithm is previously known but we provide new analysis. We also extend the popular SVRG method to this framework but without requiring that the objective function be written as a finite sum. We provide proofs of convergence for our methods under various convexity assumptions and show favorable results when compared to gradient descent and BFGS on non-convex problems from the machine learning and shape optimization literature. We also note that our analysis gives a proof that the iterates of SVRG and several other popular first-order stochastic methods, in their original formulation, converge almost surely to the optimum; to our knowledge, prior to this work the iterates of SVRG had only been known to converge in expectation.

研究动机与目标

• .
• 将随机优化扩展至梯度计算代价高昂或不可用的场景，如PDE约束优化和高斯过程。
• 开发一种通用框架，通过允许使用随机子空间而非轴对齐更新，推广坐标下降方法。
• 将SVRG方法适配至非有限和问题，实现在无需ERM结构条件下实现方差减少。
• 在多种凸性假设下提供理论收敛保证，包括强凸性和Lipschitz连续梯度条件。

提出的方法

• .
• 算法通过一个满足E[PP⊤] = Id且P⊤P = (d/ℓ)Iℓ的随机矩阵P，将全梯度投影到ℓ维随机子空间。
• 每次迭代通过xk+1 = xk − αPkP⊤k∇f(xk)更新迭代点，沿随机子空间中的投影梯度方向下降。
• 当P为对角矩阵时，该方法推广了随机化块坐标下降，但允许任意子空间方向。
• 通过基于梯度快照的控制变量，将SVRG方法扩展至该框架，即使在无有限和结构时亦可适用。
• 理论分析包括凸、强凸及Lipschitz连续梯度设定下的收敛性证明，并推导出明确的收敛速率。

实验结果

研究问题

• RQ1 .
• RQ2 当梯度不可用或计算代价高昂时，随机子空间下降能否实现与梯度下降相当的收敛速率？
• RQ3 在机器学习和PDE约束优化的非凸问题中，SSD相较于标准梯度下降和BFGS的性能如何？
• RQ4 能否成功将SVRG方差减少技术扩展至无有限和结构的问题，借助该子空间框架？
• RQ5 在不同凸性假设（包括强凸性和Lipschitz梯度）下，SSD的理论收敛性质如何？
• RQ6 在实际应用（如高斯过程超参数优化）中，SSD是否优于现有无导数方法？

主要发现

• .
• 在强凸性假设下，SSD方法采用步长α = ℓ/(dλ)时实现线性收敛速率，满足E[fe(xk)] ≤ (1 − ℓγ/(dλ))k fe(x0)。
• 对于具有Lipschitz连续梯度的凸函数，SSD实现O(1/k)的次线性收敛速率，满足E[fe(xk)] ≤ 2dλR²/(kℓ)。
• 在机器学习和形状优化的非凸问题中，SSD优于标准梯度下降和BFGS，表现出更快的收敛速度和更强的鲁棒性。
• 扩展的SVRG变体在强凸性假设下实现几乎 surely 收敛和线性收敛速率，递推关系为E[fe(˜xs)] ≤ β E[fe(˜xs−1)]，其中β = 1/(αγm(1 − αλρ))。
• 实验结果表明，SSD在梯度计算与完整函数评估代价相当的场景中尤为有效，如PDE约束优化和稀疏高斯过程。
• 理论分析证实，SSD在保持类似梯度下降收敛性质的同时，显著降低了高维、评估代价高昂问题中的计算开销。