[论文解读] An adaptive low dimensional quasi-Newton sum of functions optimizer.

Jascha Sohl‐Dickstein, Ben Poole+1 more|arXiv (Cornell University)|Nov 9, 2013

Stochastic Gradient Optimization Techniques参考文献 24被引用 5

一句话总结

本文提出了一种自适应的、低维的拟牛顿优化器，通过在共享的、随时间演化的低维子空间中为每个函数分别维护海森矩阵近似，以最小化函数之和。该方法结合了随机梯度下降的效率与拟牛顿法对曲率的利用，实现了在各种问题上更快的收敛速度，且超参数调优极少。

ABSTRACT

We present an algorithm for minimizing a sum of functions that combines the computational efficiency of stochastic gradient descent (SGD) with the second order curvature information leveraged by quasi-Newton methods. We unify these disparate approaches by maintaining an independent Hessian approximation for each contributing function in the sum. We maintain computational tractability and limit memory requirements even for high dimensional optimization problems by storing and manipulating these quadratic approximations in a shared, time evolving, low dimensional subspace. Each update step requires only a single contributing function or minibatch evaluation (as in SGD), and each step is scaled using an approximate inverse Hessian and little to no adjustment of hyperparameters is required (as is typical for quasi-Newton methods). This algorithm contrasts with earlier stochastic second order techniques that treat the Hessian of each contributing function as a noisy approximation to the full Hessian, rather than as a target for direct estimation. We experimentally demonstrate improved convergence on seven diverse optimization problems. The algorithm is released as open source Python and MATLAB packages.

研究动机与目标

• 解决在高维空间中高效最小化函数之和的挑战，其中标准的随机二阶方法计算成本过高。
• 克服现有随机拟牛顿方法的局限性，这些方法将单个函数的海森矩阵视为全海森矩阵的噪声近似。
• 通过将海森矩阵近似投影到共享的、随时间演化的低维子空间，保持高维优化中的计算可行性与低内存使用。
• 通过直接估计并利用单个函数的海森矩阵近似，实现自适应、超参数极少的更新。
• 与标准SGD和拟牛顿方法相比，提升在多样化优化问题中的收敛速度与鲁棒性。

提出的方法

• 该算法为求和中的每个函数分别维护一个海森矩阵近似，将每个函数视为直接估计的目标，而非全海森矩阵的噪声代理。
• 所有海森矩阵近似均被投影到一个随时间演化、共享的低维子空间中，以捕捉主导的曲率方向。
• 每个优化步骤仅使用单个函数或小批量样本的评估，保持了随机梯度下降的计算效率。
• 使用从低维子空间计算出的近似逆海森矩阵对更新方向进行缩放，实现在无需完整海森矩阵计算的情况下获得二阶优势。
• 该方法动态调整子空间与海森矩阵近似，以在迭代过程中保持准确性和效率。
• 通过利用海森矩阵近似的自适应特性和子空间演化，最小化超参数调优。

实验结果

研究问题

• RQ1 能否通过直接估计单个函数的海森矩阵而非将其视为噪声近似，使随机拟牛顿方法的收敛速度超过SGD？

主要发现

• 所提出的优化器在七个多样化优化问题中均实现了比标准SGD更快的收敛速度，表现出更高的样本效率。
• 通过将海森矩阵近似限制在共享的低维子空间中，该方法即使在高维设置下也保持了低内存和计算成本。
• 该算法几乎无需超参数调优，相比传统拟牛顿方法显著降低了用户负担。
• 通过将每个函数的海森矩阵视为直接估计目标，该方法避免了以往随机二阶方法中常见的噪声累积问题。
• 实证结果表明，与基线方法相比，该方法在非凸和病态条件问题中均表现出一致的性能提升。
• 在Python和MATLAB中开源发布，支持可复现性，并推动其在机器学习与优化研究中的广泛应用。