[论文解读] A stochastic subspace approach to gradient-free optimization in high dimensions

David Kozak, Stephen Becker+2 more|arXiv (Cornell University)|Mar 4, 2020

Stochastic Gradient Optimization Techniques参考文献 75被引用 23

一句话总结

该论文提出了一种用于高维、无梯度优化的随机子空间下降方法，通过使用随机低维子空间来近似梯度，实现在函数评估成本高昂时的高效优化。在凸性条件下，该方法在期望下收敛；在强凸性条件下，实现概率收敛。理论保证将高斯平滑技术扩展至维度大于1的子空间，并提出一种新型有限维Johnson-Lindenstrauss变体。

ABSTRACT

We present a stochastic descent algorithm for unconstrained optimization that is particularly efficient when the objective function is slow to evaluate and gradients are not easily obtained, as in some PDE-constrained optimization and machine learning problems. The algorithm maps the gradient onto a low-dimensional random subspace of dimension $\ell$ at each iteration, similar to coordinate descent but without restricting directional derivatives to be along the axes. Without requiring a full gradient, this mapping can be performed by computing $\ell$ directional derivatives (e.g., via forward-mode automatic differentiation). We give proofs for convergence in expectation under various convexity assumptions as well as probabilistic convergence results under strong-convexity. Our method extends the well-known Gaussian smoothing technique to descent in subspaces of dimension greater than one, opening the doors to new analysis of Gaussian smoothing when more than one directional derivative is used at each iteration. We also provide a finite-dimensional variant of a special case of the Johnson-Lindenstrauss lemma. Experimentally, we show that our method compares favorably to coordinate descent, Gaussian smoothing, gradient descent and BFGS (when gradients are calculated via forward-mode automatic differentiation) on problems from the machine learning and shape optimization literature.

研究动机与目标

• 解决在PDE约束和机器学习场景中，梯度计算成本高昂或不可用的高维函数优化挑战。
• 开发一种方法，在每次迭代中将函数评估次数减少至低于维度d，同时保持收敛性保证。
• 将高斯平滑技术从一维方向导数扩展至更高维子空间。
• 为在凸性和强凸性条件下，基于随机子空间下降的理论收敛结果提供支持——包括期望收敛与概率收敛。
• 在机器学习与形状优化的基准问题上，证明该方法在性能上优于坐标下降、高斯平滑、梯度下降和BFGS方法。

提出的方法

• 通过随机矩阵 Pk ∈ Rd×ℓ 使用ℓ个方向导数近似梯度，将梯度映射至低维子空间。
• 利用前向模式自动微分高效计算方向导数，每次迭代仅需ℓ次函数评估。
• 确保 E[PkPk⊤] = Id 且 Pk⊤Pk = (d/ℓ)Iℓ，以保持子空间中适当的缩放与各向同性。
• 应用随机下降更新：xk+1 = xk − αPkPk⊤∇f(xk)，其中α为固定步长。
• 利用有限维Johnson-Lindenstrauss引理的变体，确保子空间以高概率保持梯度范数。
• 使用球面对称的随机矩阵 Pk（如Haar分布或高斯分布）以实现鲁棒的子空间嵌入与概率收敛。

实验结果

研究问题

• RQ1 当ℓ > 1时，采用随机子空间方法并使用ℓ个方向导数，是否能在收敛速度和鲁棒性方面优于坐标下降法？
• RQ2 当梯度通过维度ℓ > 1的随机子空间近似时，子空间下降的理论收敛保证为何？
• RQ3 所提出的方法如何将高斯平滑技术从一维方向扩展至更高维方向？
• RQ4 子空间维度ℓ与环境维度d对收敛速度与迭代复杂度有何影响？
• RQ5 在强凸性条件下，该方法能否实现概率收敛？每次迭代所需的成功概率是多少？

主要发现

• 在强凸性条件下，该方法每轮迭代实现线性收敛，收敛率为 (1 − 2γαλ)，其中γ为强凸性参数，λ为梯度的Lipschitz常数。
• 对于凸函数，期望次优性间隙以 O(1/k) 速率减小，当步长α = ℓ/(dλ) 时，经过k轮迭代后满足 E[f(xk) − f∗] ≤ 2dλR²/(kℓ)。
• 在强凸性条件下，算法以概率1收敛至最优解x∗，即当k → ∞时，xk → x∗ 几乎必然成立。
• 成功子空间嵌入的概率——即保持至少(1−ϵ)的梯度范数——有下界 1 − I(1−ϵ)ℓ/d(ℓ/2, (d−ℓ)/2)，其中I为正则化不完全β函数。
• 该方法每次迭代仅需ℓ次函数评估，远少于完整梯度计算所需的d次，且在通过前向模式AD计算梯度时，性能优于BFGS与梯度下降。
• 实验结果表明，在机器学习与形状优化问题中，该方法在高维、函数评估昂贵的场景下，性能显著优于坐标下降、高斯平滑与BFGS方法。