[论文解读] Adaptive Sampling Quasi-Newton Methods for Derivative-Free Stochastic Optimization

Raghu Bollapragada, Stefan M. Wild|arXiv (Cornell University)|Oct 29, 2019

Stochastic Gradient Optimization Techniques参考文献 17被引用 6

一句话总结

本文提出了一种基于有限差分梯度估计与通用随机数框架的自适应采样拟牛顿方法，用于无导数随机优化。通过引入改进的范数和内积拟牛顿检验，动态调整样本大小，提升了固定样本随机梯度方法的收敛效率与稳定性，数值结果表明在非线性最小二乘问题上表现更优。

ABSTRACT

We consider stochastic zero-order optimization problems, which arise in settings from simulation optimization to reinforcement learning. We propose an adaptive sampling quasi-Newton method where we estimate the gradients of a stochastic function using finite differences within a common random number framework. We employ modified versions of a norm test and an inner product quasi-Newton test to control the sample sizes used in the stochastic approximations. We provide preliminary numerical experiments to illustrate potential performance benefits of the proposed method.

研究动机与目标

• 解决仅能获取函数评估值而无梯度信息的无导数随机优化问题。
• 开发自适应采样策略，在有限差分梯度近似中平衡估计精度与计算成本。
• 通过修改现有收敛检验，将子采样拟牛顿方法扩展至零阶设置，以适用于有限差分估计器。
• 通过基于误差界和拟牛顿条件的动态样本大小调整，提升随机优化中的收敛效率与稳定性。
• 在受控噪声的随机非线性最小二乘问题上，验证所提方法的有效性。

提出的方法

• 在通用随机数（CRN）框架内使用前向有限差分估计梯度：$\nabla F^{\textrm{FD}}_{S_k}(x_k) = \frac{1}{|S_k|} \sum_{\zeta_i \in S_k} \frac{f(x_k + \nu e_j, \zeta_i) - f(x_k, \zeta_i)}{\nu}$。
• 提出有限差分范数检验：$\frac{\frac{1}{|S_k^v|-1} \sum_{\zeta_i \in S_k^v} \|\nabla F_i^{\textrm{FD}}(x_k) - \nabla F_{S_k}^{\textrm{FD}}(x_k)\|^2}{|S_k|} \leq \theta^2 \|\nabla F_{S_k}^{\textrm{FD}}(x_k)\|^2$，以控制梯度估计的方差。
• 引入内积拟牛顿检验：$\mathbb{E}[ (H_k \nabla F_{S_k}^{\textrm{FD}}(x_k))^T (H_k \nabla F(x_k)) ] > 0$，并将其适配至有限差分设置，以确保拟牛顿方向的质量。
• 采用启发式步长规则：$\hat{\alpha}_k = \left(1 + \frac{\operatorname{Var}_{\zeta_i \in S_k^v}(\nabla F_i^{\textrm{FD}}(x_k))}{|S_k| \|\nabla F_{S_k}^{\textrm{FD}}(x_k)\|^2} \right)^{-1}$，以稳定收敛过程。
• 通过在相同样本集上计算 $y_k = \nabla F_{S_k}^{\textrm{FD}}(x_{k+1}) - \nabla F_{S_k}^{\textrm{FD}}(x_k)$ 实现稳定拟牛顿更新，并在 $y_k^T s_k \leq \beta \|s_k\|^2$ 时跳过更新，其中 $\beta = 10^{-2}$。
• 结合有限内存的L-BFGS与基于所提检验的自适应样本大小选择，以平衡精度与效率。

实验结果

研究问题

• RQ1 基于有限差分梯度估计的自适应采样策略是否能提升无导数随机优化中的收敛性能？
• RQ2 在存在有限差分近似误差的情况下，改进的范数与内积检验在样本大小控制中的表现如何？
• RQ3 利用这些检验进行动态样本大小调整，是否能实现比固定样本随机梯度方法更快的收敛速度与更好的稳定性？
• RQ4 在零阶设置下，所提方法是否能比标准随机梯度方法收敛至更优的解邻域？
• RQ5 在实际实现中，范数检验与内积拟牛顿检验的相对性能如何？

主要发现

• 所提出的自适应采样拟牛顿方法（FD-Norm 与 FD-IPQN）在Chebyquad问题上，相较于调优后的有限差分随机梯度方法，函数评估效率更高。
• 两种方法变体均收敛至比固定样本随机梯度方法小得多的最优解邻域。
• 数值实验中未观察到范数检验与内积拟牛顿检验之间存在显著性能差异。
• 随机梯度方法需更多函数评估才能达到相近的误差水平，表明其因固定样本大小与缺乏自适应控制而效率低下。
• 自适应采样策略有效平衡了估计误差与计算成本，实现了更快速的收敛与更少的总函数评估次数。
• 该方法在不同噪声水平（$\sigma = 10^{-3}$ 与 $\sigma = 10^{-5}$）下均表现出鲁棒性，持续保持性能提升。