[論文レビュー] LCA: Loss Change Allocation for Neural Network Training

Janice Lan, Rosanne Liu+2 more|arXiv (Cornell University)|Jan 1, 2019

Model Reduction and Neural Networks被引用数 12

ひとこと要約

本稿では、ルンゲ・クッタ法に基づく経路積分近似を用いて、ニューラルネットワークの損失の変化を個々のパラメータに保守的に割り当てる手法であるロス・チェンジ・アロケーション（LCA）を提案する。LCAは、任意の訓練ステップで約50％のパラメータしか正の寄与を示さないことを明らかにした。一部の層は位相差のため学習を妨げる。また、学習の増分は層間で同期していることが分かった。

ABSTRACT

Neural networks enjoy widespread use, but many aspects of their training, representation, and operation are poorly understood. In particular, our view into the training process is limited, with a single scalar loss being the most common viewport into this high-dimensional, dynamic process. We propose a new window into training called Loss Change Allocation (LCA), in which credit for changes to the network loss is conservatively partitioned to the parameters. This measurement is accomplished by decomposing the components of an approximate path integral along the training trajectory using a Runge-Kutta integrator. This rich view shows which parameters are responsible for decreasing or increasing the loss during training, or which parameters or the network's learning, respectively. LCA may be summed over training iterations and/or over neurons, channels, or layers for increasingly coarse views. This new measurement device produces several insights into training. (1) We find that barely over 50% of parameters help during any given iteration. (2) Some entire layers hurt overall, moving on average against the training gradient, a phenomenon we hypothesize may be due to phase lag in an oscillatory training process. (3) Finally, increments in learning proceed in a synchronized manner across layers, often peaking on identical iterations.

研究の動機と目的

• 通常はスカラーの損失しか監視されないニューラルネットワーク訓練における解釈可能性の限界を解消すること。
• 訓練中に損失の低減または増加に寄与するパラメータを細分化して特定する手法を開発すること。
• 個々のパラメータ、ニューロン、層が訓練プロセスにおいて果たす動的役割を理解すること。
• 学習が層全体で同期したバーストとして発生するかどうか、および一部の要素が最適化を妨げているかどうかを調査すること。

提案手法

• LCAは、訓練軌道に沿った損失勾配の経路積分をルンゲ・クッタ積分器を用いて分解し、損失変化の割り当てを計算する。
• 最適化経路に沿った寄与度に基づき、損失変化の責任を個々のパラメータに保守的に割り当てる。
• 反復回数や構造的単位ごとにLCA値を合算することで、パラメータ単位、層単位、またはニューロン単位の分析が可能になる。
• LCAは訓練ステップごとに反復的に計算され、時間経過に伴うパラメータレベルの寄与度を追跡可能である。
• 確率的勾配降下法の高次元的・非線形的ダイナミクスに対応するため、近似経路積分を用いる。
• LCAは反復回数や層にわたって集約可能であり、ネットワークの学習ダイナミクスの粗い視覚的把握を可能にする。

実験結果

リサーチクエスチョン

• RQ1 各訓練反復において、損失の低減または増加に寄与しているのはどのパラメータか？
• RQ2 任意の時点で、損失低減に実際に寄与しているパラメータの割合はどの程度か？
• RQ3 全層が訓練目的に反発する場合があるのか。その場合、その理由は何か？
• RQ4 ニューラルネットワークにおける学習は層間で同期的であり、同時にバーストが発生するのか？

主な発見

• 平均すると、任意の訓練反復において損失低減に正の寄与をするパラメータは50％未満である。
• 一部の層は平均的に損失低減に対してネガティブな寄与を示しており、訓練勾配とは逆方向に動いている。
• 観察された層レベルの損傷は、振動的訓練プロセスにおける位相差に起因すると仮説される。
• 層間の学習増分は同期しており、しばしば同じ訓練反復でピークに達する。
• LCAは、損失変化へのパラメータ寄与度が非常に動的で時間的に変動することを明らかにした。
• この手法は、パラメータの寄与度が非一様的かつ非単調的であるといった、従来見えなかったダイナミクスを解き明かした。