[论文解读] LCA: Loss Change Allocation for Neural Network Training

Janice Lan, Rosanne Liu+2 more|arXiv (Cornell University)|Jan 1, 2019

Model Reduction and Neural Networks被引用 12

一句话总结

本文提出损失变化分配（LCA），一种基于Runge-Kutta路径积分近似的保守方法，用于将神经网络损失的变化分配给单个参数。LCA揭示，在任何训练步骤中，仅有约50%的参数产生正向贡献，部分层由于相位滞后而实际损害学习，且各层之间的学习增量呈现同步性。

ABSTRACT

Neural networks enjoy widespread use, but many aspects of their training, representation, and operation are poorly understood. In particular, our view into the training process is limited, with a single scalar loss being the most common viewport into this high-dimensional, dynamic process. We propose a new window into training called Loss Change Allocation (LCA), in which credit for changes to the network loss is conservatively partitioned to the parameters. This measurement is accomplished by decomposing the components of an approximate path integral along the training trajectory using a Runge-Kutta integrator. This rich view shows which parameters are responsible for decreasing or increasing the loss during training, or which parameters or the network's learning, respectively. LCA may be summed over training iterations and/or over neurons, channels, or layers for increasingly coarse views. This new measurement device produces several insights into training. (1) We find that barely over 50% of parameters help during any given iteration. (2) Some entire layers hurt overall, moving on average against the training gradient, a phenomenon we hypothesize may be due to phase lag in an oscillatory training process. (3) Finally, increments in learning proceed in a synchronized manner across layers, often peaking on identical iterations.

研究动机与目标

• 为解决神经网络训练中可解释性有限的问题，通常仅监控标量损失。
• 开发一种方法，以提供关于哪些参数在训练过程中促进损失减少或增加的细粒度洞察。
• 理解单个参数、神经元和层在训练过程中的动态作用。
• 探究学习是否在各层之间以同步爆发的形式发生，以及某些组件是否实际阻碍优化。

提出的方法

• LCA 使用Runge-Kutta积分器对训练轨迹上损失梯度的路径积分进行分解，以计算损失变化的分配。
• 基于参数在优化路径上的贡献，保守地将损失变化的功劳分配给单个参数。
• 通过在迭代或结构单元上求和LCA值，该方法可实现参数级、层级或神经元级的分析。
• LCA 在训练步骤上迭代计算，从而可追踪参数层面贡献随时间的变化。
• 该方法使用近似路径积分，以处理随机梯度下降的高维非线性动力学。
• LCA 可在迭代或层面上聚合，以生成网络学习动态的粗粒度视图。

实验结果

研究问题

• RQ1 在每个训练迭代中，哪些参数负责减少或增加损失？
• RQ2 在任意给定步骤中，有多少比例的参数实际促进损失减少？
• RQ3 某些完整层是否有时会与训练目标背道而驰，如果是，原因是什么？
• RQ4 神经网络中的学习是否在各层之间同步进行，学习爆发是否常在同一训练迭代中出现？

主要发现

• 在任意给定训练迭代中，平均而言，少于50%的参数对损失减少有正向贡献。
• 部分完整层在平均上对损失减少产生净负向贡献，即其方向与训练梯度相反。
• 观察到的层级别损害被推测源于振荡性训练过程中存在的相位滞后。
• 各层之间的学习增量是同步的，通常在同一训练迭代中达到峰值。
• LCA 揭示了参数对损失变化的贡献高度动态且具有时间可变性。
• 该方法揭示了此前隐藏的动力学，例如参数对优化的贡献非均匀且非单调。