[论文解读] Algorithms for solving optimization problems arising from deep neural net models: smooth problems

Vyacheslav Kungurtsev, Tomáš Pevný|arXiv (Cornell University)|Jun 30, 2018

Sparse and Compressive Sensing Techniques参考文献 20被引用 5

一句话总结

该论文提出了一种基于Lanczos的牛顿-负曲率方法，通过显式利用负曲率方向来逃离鞍点，从而优化深度神经网络，在一个安全异常检测数据集上，其收敛速度和目标函数值降低方面显著优于随机梯度下降（SGD），尽管每次迭代的计算成本更高，但实验结果表明其性能更优。

ABSTRACT

Machine Learning models incorporating multiple layered learning networks have been seen to provide effective models for various classification problems. The resulting optimization problem to solve for the optimal vector minimizing the empirical risk is, however, highly nonlinear. This presents a challenge to application and development of appropriate optimization algorithms for solving the problem. In this paper, we summarize the primary challenges involved and present the case for a Newton-based method incorporating directions of negative curvature, including promising numerical results on data arising from security anomally deetection.

研究动机与目标

• 为解决由于鞍点导致的深度神经网络优化收敛缓慢的问题，这些鞍点会阻碍一阶方法（如SGD）的性能。
• 探究是否通过显式引入负曲率方向，能够改善非凸深度学习问题中的收敛性和目标函数减少。
• 开发一种实用且可扩展的二阶优化方法，通过利用Hessian-向量乘积和Lanczos迭代，避免标准牛顿方法的缺陷。
• 评估在使用负曲率方向时，确定性小批量循环与随机选择在保持收敛性方面的表现差异。
• 探索是否可以使用更小的批量大小来计算Hessian-向量乘积，以降低计算成本，同时保留有用的曲率信息。

提出的方法

• 使用Lanczos算法计算近似牛顿方向，并从当前迭代点的Hessian矩阵中识别负曲率方向。
• 通过有限差分或自动微分近似Hessian-向量乘积，实现无Hessian矩阵的计算。
• 将牛顿方向（s）与负曲率方向（d）组合成联合搜索方向 t = s + d，以确保在正曲率和负曲率区域均实现下降。
• 在小批量函数上应用线搜索以确定步长 α，确保目标函数充分减少。
• 采用确定性的轮询式小批量索引选择策略，该策略被证明对收敛至关重要，而随机选择则导致目标函数上升。
• 基于性能与成本的实验优化，固定Lanczos迭代次数（q ≈ 5）。

实验结果

研究问题

• RQ1 与一阶方法相比，显式使用负曲率方向是否能显著提升深度神经网络优化中的收敛性能？
• RQ2 在深度神经网络产生的非凸光滑优化问题中，结合牛顿方向与负曲率方向是否能实现更快的目标函数减少？
• RQ3 在随机优化中使用二阶信息时，确定性小批量循环与随机选择相比，在保持收敛性方面表现如何？
• RQ4 是否可以有效使用更小的批量大小进行Hessian-向量乘积计算，而不降低优化性能？
• RQ5 该基于Lanczos的方法是否对现实世界的大规模机器学习问题（如安全异常检测）具有鲁棒性和可扩展性？

主要发现

• 所提出的Lanczos牛顿-负曲率方法在Cisco提供的私有安全异常检测数据集上，经过1000次迭代后，显著优于SGD，实现了更低的目标函数值。
• 尽管每次迭代的计算成本更高，该方法在使用固定步长、衰减步长或线搜索步长时，均实现了比SGD更快的收敛速度和更低的目标函数值。
• 小批量索引的确定性循环对收敛至关重要；随机选择导致目标函数上升，表明对单个小批量的过拟合。
• 该方法成功利用了负曲率方向来逃离鞍点，表明这些方向提供了可靠且有效的下降路径。
• 实验结果表明，将牛顿方向与负曲率方向组合（t = s + d）是有效的，未发现更复杂组合形式具有显著优势。
• 使用有限差分或自动微分计算Hessian-向量乘积，使得无需显式存储Hessian矩阵即可实现实际应用。