[论文解读] Generalized Random Direction Newton Algorithms for Stochastic Optimization

Soumen Pachal, L A Prashanth+2 more|arXiv (Cornell University)|Feb 23, 2026

Stochastic Gradient Optimization Techniques被引用 0

一句话总结

本论文引入一系列基于 generalized RDSA 的 Hessian 估计器，通过额外的函数测量可以控制偏差，并在随机牛顿方法中分析其渐近与非渐近收敛性。

ABSTRACT

We present a family of generalized Hessian estimators of the objective using random direction stochastic approximation (RDSA) by utilizing only noisy function measurements. The form of each estimator and the order of the bias depend on the number of function measurements. In particular, we demonstrate that estimators with more function measurements exhibit lower-order estimation bias. We show the asymptotic unbiasedness of the estimators. We also perform asymptotic and non-asymptotic convergence analyses for stochastic Newton methods that incorporate our generalized Hessian estimators. Finally, we perform numerical experiments to validate our theoretical findings.

研究动机与目标

• 在不确定性下利用零阶信息进行优化的动机。
• 开发利用带噪声的函数测量来降低偏差的广义 Hessian 估计器。
• 建立这些估计器下的渐近无偏性以及随机牛顿方法的收敛性。
• 推导零阶三次正则化牛顿方法的非渐近收敛性界限。
• 通过基准函数的数值实验验证理论发现。

提出的方法

• 定义广义 D 运算符，通过截断级数展开来估计 Hessian。
• 通过对截断的 D 运算符进行两次作用（等截断或不等截断）来构造 Hessian 估计器。
• 使用 (ΔΔ^T − I) 的缩放在高斯扰动下获得无偏的 Hessian 估计器。
• 给出估计量的偏差和方差界：以 δ^k 的偏差与 2k+1 次函数测量。
• 给出带自适应 Hessian 平均和投影的零阶随机牛顿更新。
• 推导 ε-SOSP 的非渐近样本复杂度界限 O(ε^{-(7/2+2/k)})，对应梯度/ Hessian 偏差。

实验结果

研究问题

• RQ1 如何将 RDSA 的 Hessian 估计器推广以在增加更多函数测量的代价下实现更低的偏差？
• RQ2 在标准假设下，这些广义 Hessian 估计器的偏差和方差界限是多少？
• RQ3 使用这些估计器的随机牛顿方法是否在渐近意义上收敛到一阶驻点（FOSP）？
• RQ4 是否存在具有广义 Hessian 估计器的零阶三次正则化牛顿方法，能够在可量化的非渐近样本复杂度下收敛到 ε-SOSP？
• RQ5 在 Hessian 估计中使用等截断与不等截断对偏差与效率的影响为何？

主要发现

• 具有更多函数测量的广义 Hessian 估计器实现了更低阶的偏差，为 O(δ^k)。
• 在 2k+1 次函数测量下，估计量的偏差界为 O(δ^k)，比经典方法有所改进。
• 使用这些估计器的随机牛顿方法在渐近意义上收敛到第一阶驻点集合（FOSP）。
• 采用广义估计量的零阶立方牛顿的非渐近界给出达到 ε-SOSP 的样本复杂度为 O(ε^{-(7/2+2/k)})。
• 在 Rastrigin 目标上的实验表明，在固定的仿真预算内，具有更多函数测量的估计器表现更好。
• 在 D-运算符中使用不等截断并不能带来偏差降低的优势，且增加了函数测量成本。