[论文解读] Adaptive Stochastic Variance Reduction for Subsampled Newton Method with Cubic Regularization

Junyu Zhang, Lin Xiao+1 more|arXiv (Cornell University)|Nov 28, 2018

Sparse and Compressive Sensing Techniques被引用 8

一句话总结

本文提出了一种自适应随机方差缩减方案，用于子采样三阶正则化牛顿法，显著降低了海森矩阵采样复杂度，达到 $\mathcal{O}(N + N^{2/3}\epsilon^{-3/2})$，用于寻找一个 $(\epsilon, \sqrt{\epsilon})$-近似局部解。该方法通过推导随机矩阵平均的三阶与四阶矩的界，避免依赖矩阵集中不等式。

ABSTRACT

The cubic regularized Newton method of Nesterov and Polyak has become increasingly popular for non-convex optimization because of its capability of finding an approximate local solution with second-order guarantee. Several recent works extended this method to the setting of minimizing the average of N smooth functions by replacing the exact gradients and Hessians with subsampled approximations. It has been shown that the total Hessian sample complexity can be reduced to be sublinear in N per iteration by leveraging stochastic variance reduction techniques. We present an adaptive variance reduction scheme for subsampled Newton method with cubic regularization, and show that the expected Hessian sample complexity is O(N + N^{2/3}ε^{-3/2}) for finding an (ε,ε^{1/2})-approximate local solution (in terms of first and second-order guarantees respectively). Moreover, we show that the same Hessian sample complexity retains with fixed sample sizes if exact gradients are used. The techniques of our analysis are different from previous works in that we do not rely on high probability bounds based on matrix concentration inequalities. Instead, we derive and utilize bounds on the 3rd and 4th order moments of the average of random matrices, which are of independent interest on their own.

研究动机与目标

• 降低非凸有限和问题中子采样三阶正则化牛顿法的海森矩阵采样复杂度。
• 开发一种自适应方差缩减技术，根据局部曲率估计动态调整样本大小。
• 在不依赖高概率矩阵集中不等式的情况下，实现改进的采样复杂度。
• 通过分析随机矩阵的高阶矩，建立在更弱假设下的收敛性保证。
• 证明当使用精确梯度时，固定样本大小仍可保持相同的复杂度。

提出的方法

• 在三阶正则化牛顿法中引入一种自适应子采样策略，用于海森矩阵近似，根据牛顿步长的范数调整批量大小。
• 推导独立同分布随机矩阵平均的三阶与四阶矩的界，以控制方差，而无需使用矩阵集中不等式。
• 采用一种修改后的子问题公式，其中牛顿步长使用自适应采样的梯度和海森矩阵计算。
• 采用一种递归分析框架，跟踪迭代过程中梯度和海森矩阵近似误差的期望。
• 通过证明梯度和海森矩阵估计的期望误差随牛顿步长范数的立方衰减，建立收敛性。
• 通过将各次迭代的复杂度相加，并利用矩界推导出最终的复杂度界，分析总海森矩阵采样复杂度。

实验结果

研究问题

• RQ1 自适应方差缩减技术能否改善子采样三阶正则化牛顿法的海森矩阵采样复杂度？
• RQ2 是否可能在不依赖高概率矩阵集中不等式的情况下，实现海森矩阵采样复杂度对 $N$ 的次线性依赖？
• RQ3 在三阶正则化自适应子采样背景下，样本大小与收敛速率之间的最优权衡是什么？
• RQ4 当使用精确梯度而非子采样梯度时，是否仍能保持相同的采样复杂度？
• RQ5 随机矩阵的高阶矩在分析随机牛顿法收敛性方面起什么作用？

主要发现

• 所提出的自适应方法在寻找一个 $(\epsilon, \sqrt{\epsilon})$-近似局部解时，实现了海森矩阵采样复杂度的期望为 $\mathcal{O}(N + N^{2/3}\epsilon^{-3/2})$。
• 即使在使用精确梯度且海森矩阵样本大小固定的情况下，该采样复杂度仍能保持不变。
• 通过推导随机矩阵平均的三阶与四阶矩的界，避免了使用矩阵集中不等式。
• 该方法优于标准的子采样牛顿法，后者需要 $\mathcal{O}(N\epsilon^{-3/2})$ 的海森矩阵样本。
• 推导出的矩界本身具有独立兴趣，可能适用于涉及高阶统计量的其他随机优化问题。
• 理论保证是在期望下建立的，而非高概率下，提供了一种不同且通常更具实际意义的分析框架。