[論文レビュー] The effect of Target Normalization and Momentum on Dying ReLU

Isac Arnekvist, J. Frederico Carvalho+2 more|arXiv (Cornell University)|May 13, 2020

Adversarial Robustness in Machine Learning参考文献 32被引用数 11

ひとこと要約

この論文は、深層ニューラルネットワークにおけるReLUユニットのトレーニング中における死滅の原因を調査する。特に、ターゲット正規化とモーメンタム最適化の下で顕著になる。低ターゲット分散に加えモーメンタムが最適化軌道を不安定化させることで、死滅するReLUのリスクが増加することを示し、残差ネットワークのような深層アーキテクチャにおいてその問題が悪化することを実証的に確認した。

ABSTRACT

Optimizing parameters with momentum, normalizing data values, and using rectified linear units (ReLUs) are popular choices in neural network (NN) regression. Although ReLUs are popular, they can collapse to a constant function and "die", effectively removing their contribution from the model. While some mitigations are known, the underlying reasons of ReLUs dying during optimization are currently poorly understood. In this paper, we consider the effects of target normalization and momentum on dying ReLUs. We find empirically that unit variance targets are well motivated and that ReLUs die more easily, when target variance approaches zero. To further investigate this matter, we analyze a discrete-time linear autonomous system, and show theoretically how this relates to a model with a single ReLU and how common properties can result in dying ReLU. We also analyze the gradients of a single-ReLU model to identify saddle points and regions corresponding to dying ReLU and how parameters evolve into these regions when momentum is used. Finally, we show empirically that this problem persist, and is aggravated, for deeper models including residual networks.

研究の動機と目的

• モーメンタムおよびターゲット正規化の下でReLUユニットがなぜ最適化中に死滅するのかを理解すること。
• 単一ReLUモデルにおけるターゲット分散、モーメンタム、パラメータダイナミクスの相乗作用を分析すること。
• 残差ネットワークにバッチ正規化を含むより深いアーキテクチャにおいて、死滅ReLUが継続的かつ深刻な問題となるかどうかを調査すること。
• 異なるターゲットスケールに対応して、パラメータのリスケーリングが死滅ReLU問題を軽減できるかどうかを特定すること。
• パrameter空間における死滅ReLU領域を特定するための幾何学的および解析的フレームワークを提供すること。

提案手法

• パラメータダイナミクスを分析するため、モーメンタム付き勾配降下法を離散時間線形非時変系としてモデル化する。
• 単一ReLUアフィンモデルの解析的勾配を導出することで、グローバル最適解や鞍点を含む臨界点を特定する。
• 幾何的解析を用いて、パラメータ空間に2つの円錐を定義する：1つは活性なReLUに対応し、もう1つは死滅したReLUに対応する。
• 数値シミュレーションを実施し、異なるターゲット分散とモーメンタムにおけるパラメータ軌道および収束行動を可視化する。
• ターゲット分散を変化させたMLPおよび残差ネットワークを用いた実証的評価により、死滅ReLUの頻度を評価する。
• パラメータリスケーリング戦略をテストし、ターゲットスケーリングに対して不変であるか、および深層ネットワークにおける限界を特定する。

実験結果

リサーチクエスチョン

• RQ1 ターゲット分散は、モーメンタムを用いた最適化におけるReLUユニットの死滅確率にどのように影響するか？
• RQ2 モーメンタムは、パラメータ軌道を不安定化させ、死滅ReLU状態への収束を促進する役割を果たすか？
• RQ3 単一ReLUのダイナミクスは線形系としてモデル化可能であり、その関係は死滅ReLUの出現にどのように関連するか？
• RQ4 残差ネットワークにバッチ正規化を含むより深いアーキテクチャにおいても、死滅ReLU問題は継続的かつ悪化するか？
• RQ5 ターゲット分散に応じて重みとバイアスをリスケーリングすることで、スケール不変トレーニングを達成できるか？

主な発見

• ユニット分散ターゲットは十分に正当化されている。ターゲット分散が低下するにつれ、特にモーメンタムを用いる場合、ReLUユニットがより簡単に死滅する。
• モーメンタムがあると、線形系における複素固有値のためパラメータ軌道が振動し、死滅ReLU円錐への収束リスクが増加する。
• 実証的結果では、ターゲット分散が小さい場合（γ = 0.001）、モーメンタムが標準的勾配降下法に比べて死滅ReLUユニットの割合を顕著に増加させた。
• より深いモデル、特にバッチ正規化を施した残差ネットワークにおいても、死滅ReLUは依然として問題であり、深さが増すにつれて悪化する。
• パラメータリスケーリングでは、複数層に跨る関数的同等性が崩れるため、深層ネットワークでは死滅ReLU問題を完全に排除できない。
• 死滅ReLUに至るパラメータ空間の領域は、ターゲット分散が低下し、モーメンタムが増加するにつれて拡大する。特にβ > 0.7の場合顕著である。