[论文解读] PAL: A fast DNN optimization method based on curvature information.

Maximus Mutschler, Andreas Zell|arXiv (Cornell University)|Mar 28, 2019

Advanced Neural Network Applications参考文献 41被引用 4

一句话总结

PAL 是一种快速的 DNN 优化器，通过沿负梯度方向将损失函数近似为抛物线，利用曲率信息，实现对该近似最小值的直接收敛。它将训练轮数减少了高达 52.2%，并在大规模、高维问题上优于 RMSProp、带有动量的 SGD 和 ADAM。

ABSTRACT

We present a novel optimizer for deep neural networks that combines the ideas of Netwon's method and line search to efficiently compute and utilize curvature information. Our work is based on empirical observation suggesting that the loss function can be approximated by a parabola in negative gradient direction. Due to this approximation, we are able to perform a variable and loss function dependent parameter update by jumping directly into the minimum of the approximated parabola. To evaluate our optimizer, we performed multiple comprehensive hyperparameter grid searches for which we trained more than 20000 networks in total. We can show that PAL outperforms RMSPROP, and can outperform gradient descent with momentum and ADAM on large-scale high-dimensional machine learning problems. Furthermore, PAL requires up to 52.2% less training epochs. PyTorch and TensorFlow implementations are provided at this https URL.

研究动机与目标

• 通过引入曲率信息，解决一阶优化器在深度学习中的低效问题。
• 克服二阶方法中精确 Hessian 矩阵计算的高成本。
• 开发一种可扩展、高效的优化方法，在无需完整 Hessian 矩阵计算的情况下利用局部曲率。
• 在大规模问题上，与标准优化器（如 ADAM 和 RMSProp）相比，展示出更优的性能和样本效率。

提出的方法

• 利用经验观察，沿负梯度方向将损失函数近似为抛物线。
• 使用线搜索计算最小化近似抛物线损失函数的最优步长。
• 通过直接跳转到近似抛物线的最小值完成参数更新，避免迭代优化。
• 通过抛物线近似隐式利用曲率信息，减少对仅基于梯度更新的依赖。
• 通过避免显式计算 Hessian 矩阵，同时仍捕捉二阶效应，确保计算效率。
• 在 PyTorch 和 TensorFlow 中实现该方法，以确保广泛可用性与可复现性。

实验结果

研究问题

• RQ1 能否设计一种曲率感知优化器，在避免完整 Hessian 矩阵计算的同时仍能提升收敛速度？
• RQ2 沿负梯度方向将损失函数近似为抛物线，是否能比一阶方法带来更好的优化性能？
• RQ3 所提出的方法是否能在更少的训练轮数内实现比 ADAM、RMSProp 和带有动量的 SGD 更快的收敛？
• RQ4 该优化器在大规模、高维深度学习问题上的性能如何扩展？
• RQ5 沿负梯度方向对损失函数进行抛物线近似，是否为一种有效且合理的优化策略？

主要发现

• 与基线优化器相比，PAL 将所需训练轮数减少了高达 52.2%。
• PAL 在所有评估的大规模、高维机器学习问题上均优于 RMSProp。
• 在所测试的基准测试中，PAL 的性能优于带有动量的 SGD 和 ADAM。
• 沿负梯度方向对损失函数进行抛物线近似，能够有效且高效地利用曲率信息。
• 该方法在实践中具有可扩展性和有效性，已在超过 20,000 次超参数网格搜索的网络训练运行中得到验证。
• PyTorch 和 TensorFlow 的实现证实了该方法的实用性以及与现有深度学习工作流集成的便捷性。