[论文解读] Accelerating Training in Artificial Neural Networks with Dynamic Mode Decomposition

Mauricio Tano, Gavin Portwood+1 more|arXiv (Cornell University)|Jun 18, 2020

Model Reduction and Neural Networks参考文献 11被引用 4

一句话总结

该论文提出使用动态模态分解（DMD）来加速深度神经网络（DNN）训练，通过建模和预测每层的权重演化，减少反向传播步骤，方法通过近似收敛的权重状态实现。在反应性污染物扩散回归任务中，该方法将均方误差降低约100倍，并有效抑制噪声，实现更快、更稳定的训练，且显著减少了完整的反向传播循环次数。

ABSTRACT

Training of deep neural networks (DNNs) frequently involves optimizing several millions or even billions of parameters. Even with modern computing architectures, the computational expense of DNN training can inhibit, for instance, network architecture design optimization, hyper-parameter studies, and integration into scientific research cycles. The key factor limiting performance is that both the feed-forward evaluation and the back-propagation rule are needed for each weight during optimization in the update rule. In this work, we propose a method to decouple the evaluation of the update rule at each weight. At first, Proper Orthogonal Decomposition (POD) is used to identify a current estimate of the principal directions of evolution of weights per layer during training based on the evolution observed with a few backpropagation steps. Then, Dynamic Mode Decomposition (DMD) is used to learn the dynamics of the evolution of the weights in each layer according to these principal directions. The DMD model is used to evaluate an approximate converged state when training the ANN. Afterward, some number of backpropagation steps are performed, starting from the DMD estimates, leading to an update to the principal directions and DMD model. This iterative process is repeated until convergence. By fine-tuning the number of backpropagation steps used for each DMD model estimation, a significant reduction in the number of operations required to train the neural networks can be achieved. In this paper, the DMD acceleration method will be explained in detail, along with the theoretical justification for the acceleration provided by DMD. This method is illustrated using a regression problem of key interest for the scientific machine learning community: the prediction of a pollutant concentration field in a diffusion, advection, reaction problem.

研究动机与目标

• 为解决训练大型DNN的高计算成本问题，特别是在科学机器学习中，超参数和网络架构调优至关重要。
• 解决在复杂回归问题（如污染物扩散建模）中训练DNN时出现的收敛缓慢和权重动态噪声问题。
• 开发一种数据驱动的、低成本的方法，利用DMD预测收敛的权重状态，减少对完整反向传播迭代的依赖。
• 通过显著缩短训练时间，同时保持或提升准确性，实现DNN架构的更快原型设计与优化。
• 探索用非线性流形表示替代DMD中线性SVD的可行性，以更准确捕捉权重演化动态。

提出的方法

• 该方法使用本征正交分解（POD）从每层的少数初始反向传播步骤中识别权重演化的主方向。
• 对这些主方向上的权重时间动态应用动态模态分解（DMD），学习权重演化的低秩近似。
• DMD模型在单次评估后即可预测近似收敛的权重状态，从而跳过该步骤的完整反向传播。
• 在DMD预测状态后执行少数完整反向传播步骤，随后迭代更新主方向和DMD模型以优化预测精度。
• 该过程在DMD预测与短时反向传播阶段之间交替进行，显著减少总计算量，同时保持收敛性。
• 该方法已集成至基于TensorFlow的训练流水线中，具备通过GPU加速进一步缩短实际运行时间的潜力。

实验结果

研究问题

• RQ1 DMD能否有效建模深度神经网络训练过程中权重演化的低秩动态？
• RQ2 DMD预测的收敛权重状态在多大程度上可减少DNN训练中所需的反向传播步骤数量？
• RQ3 在回归任务中，DMD加速方法与标准反向传播相比，在收敛速度和噪声抑制方面表现如何？
• RQ4 DMD能否提升在高度敏感、高维科学问题中训练的DNN的训练稳定性和误差控制？
• RQ5 在DMD中用非线性流形表示替代线性SVD对权重演化预测精度有何影响？

主要发现

• 与标准反向传播相比，基于DMD的方法将训练过程中的均方误差降低了约100倍。
• 在权重轨迹中观察到显著的噪声抑制，甚至超出了Adam优化器固有的随机噪声水平。
• 通过大幅减少达到收敛所需的完整反向传播步骤数，实现了显著的计算节省。
• 仅利用少数初始反向传播步骤校准动态，DMD模型即可高精度预测收敛的权重状态。
• 该方法实现了更快的训练速度并提升了稳定性，尤其在高输入敏感性的挑战性反应性污染物扩散回归问题中表现突出。
• 未来工作表明，若在DMD中用非线性流形表示替代线性SVD，有望进一步提升预测精度，并在更长的训练序列中减少误差。