[论文解读] BDA-PCH: Block-Diagonal Approximation of Positive-Curvature Hessian for Training Neural Networks.

Shengwei Chen, Chun‐Nan Chou+1 more|arXiv (Cornell University)|Feb 19, 2018

3D Shape Modeling and Analysis参考文献 1被引用 5

一句话总结

本文提出 BDA-PCH，一种针对具有二阶可微激活函数和损失函数的全连接神经网络训练的正曲率 Hessian 矩阵的内存高效块对角近似方法。通过在小批量设置下利用共轭梯度法，BDA-PCH 实现了比现有二阶方法更快的收敛速度，尤其在非凸目标函数上表现更优。

ABSTRACT

We propose a block-diagonal approximation of the positive-curvature Hessian (BDA-PCH) matrix to measure curvature. Our proposed BDAPCH matrix is memory efficient and can be applied to any fully-connected neural networks where the activation and criterion functions are twice differentiable. Particularly, our BDA-PCH matrix can handle non-convex criterion functions. We devise an efficient scheme utilizing the conjugate gradient method to derive Newton directions for mini-batch setting. Empirical studies show that our method outperforms the competing second-order methods in convergence speed.

研究动机与目标

• 开发一种用于神经网络训练中二阶优化的内存高效曲率近似方法。
• 将二阶优化方法扩展至深度学习中常见的非凸损失函数。
• 在小批量训练设置下，利用曲率近似高效计算牛顿方向。
• 在保持低内存使用量的同时，提升收敛速度，优于现有二阶方法。

提出的方法

• 提出正曲率 Hessian 的块对角近似（BDA-PCH），以降低内存和计算成本。
• 在小批量训练设置下，应用共轭梯度法，利用 BDA-PCH 矩阵高效计算牛顿方向。
• 设计方法以兼容任意全连接神经网络，其中激活函数和损失函数均为二阶可微。
• 聚焦于 Hessian 的正曲率子空间，以提升非凸优化中的稳定性和收敛性。
• 采用块对角结构，在近似曲率信息的同时保持计算的可行性。

实验结果

研究问题

• RQ1 正曲率 Hessian 的块对角近似能否提升神经网络训练中的收敛速度？
• RQ2 BDA-PCH 在收敛性和内存效率方面与现有二阶方法相比表现如何？
• RQ3 所提出的方法能否在小批量训练中有效处理非凸损失函数？
• RQ4 共轭梯度方案在多大程度上提升了使用 BDA-PCH 进行牛顿方向计算的效率？

主要发现

• 在实证评估中，BDA-PCH 方法的收敛速度优于其他二阶优化方法。
• 块对角近似显著降低了内存使用量，同时保留了有效的曲率信息。
• 该方法适用于任意具有二阶可微激活函数和损失函数的全连接神经网络。
• 基于共轭梯度的方案实现了在小批量设置下高效计算牛顿方向。