[論文レビュー] Dynamical Isometry is Achieved in Residual Networks in a Universal Way for any Activation Function

Wojciech Tarnowski, Piotr Warchoł+3 more|arXiv (Cornell University)|Sep 24, 2018

Neural Networks and Applications被引用数 16

ひとこと要約

この論文は、自由確率論および確率的行列理論を用いて、初期化時の入出力ヤコビアンの普遍的スペクトル密度式を導出し、残差畳み込みニューラルネットワーク（ResNets）が任意の活性化関数に対して普遍的に動的等長性を達成できることを示している。主な結果は、重み初期化分散をスキップ接続の数の逆数に比例させることで、活性化関数の種別にかかわらず動的等長性が達成可能であり、これにより異なる活性化関数間で一貫した学習ダイナミクスが実現可能となることである。

ABSTRACT

We demonstrate that in residual neural networks (ResNets) dynamical isometry is achievable irrespectively of the activation function used. We do that by deriving, with the help of Free Probability and Random Matrix Theories, a universal formula for the spectral density of the input-output Jacobian at initialization, in the large network width and depth limit. The resulting singular value spectrum depends on a single parameter, which we calculate for a variety of popular activation functions, by analyzing the signal propagation in the artificial neural network. We corroborate our results with numerical simulations of both random matrices and ResNets applied to the CIFAR-10 classification problem. Moreover, we study the consequence of this universal behavior for the initial and late phases of the learning processes. We conclude by drawing attention to the simple fact, that initialization acts as a confounding factor between the choice of activation function and the rate of learning. We propose that in ResNets this can be resolved based on our results, by ensuring the same level of dynamical isometry at initialization.

研究の動機と目的

• 残差畳み込みニューラルネットワーク（ResNets）における動的等長性が、使用される活性化関数にかかわらず普遍的であることを確立すること。
• 大規模なネットワーク幅および深さの極限において、初期化時の入出力ヤコビアンのスペクトル密度に対する普遍的公式を導出すること。
• 異なる活性化関数間での学習ダイナミクスの比較において、同一の動的等長性レベルを保証することで、訓練ダイナミクスの実験における混同要因を解消すること。
• ランダム行列およびCIFAR-10で訓練されたResNetsを用いた数値実験により、理論的予測を検証すること。
• 学習ダイナミクスの観点から、活性化関数の比較を公平に行うための原理的初期化戦略を提供すること。

提案手法

• 初期化時の深層残差ネットワークにおける信号伝播を分析するため、自由確率論および確率的行列理論（FPT および RMT）を適用すること。
• 大規模な深さおよび幅の極限において、入出力ヤコビアンのグリーン関数に対する普遍的方程式を導出すること。
• 特異値スペクトルを支配する1つの有効な積モーメントパラメータを定義し、これは活性化関数の性質と重み分散から計算可能である。
• 信号分散および勾配フローの残差ブロック内での進化をモデル化するために、動的平均場理論を用いること。
• 学習可能な正規化パラメータを組み込むことで、バッチ正規化を理論的枠組みに統合し、ヤコビアンのスペクトル統計を修正すること。
• ランダム行列およびCIFAR-10で訓練されたResNetsを用いた数値実験により、理論的予測を検証すること。

実験結果

リサーチクエスチョン

• RQ1 任意の活性化関数に対して、残差ネットワークで動的等長性を達成できるか、関数の形に依存しないか？
• RQ2 初期化時の深層ResNetsにおける入出力ヤコビアンに支配的な普遍的スペクトル的性質は何か？
• RQ3 動的等長性を保証するために、重み初期化分散とスキップ接続の数の関係はどのように定まるか？
• RQ4 初期ヤコビアンスペクトルが、異なる活性化関数間の訓練ダイナミクス比較にどの程度混同要因をもたらすか？
• RQ5 バッチ正規化は、ヤコビアンスペクトル解析の理論的枠組みに一貫して統合可能か？

主な発見

• 大規模ネットワーク極限において、深層ResNetsの入出力ヤコビアンのスペクトル密度は、活性化関数に依存しない1つの普遍的方程式によって支配される。
• 重み初期化分散をスキップ接続の数の逆数に比例させることで、任意の活性化関数に対してResNetsで動的等長性を達成可能である。
• 特異値スペクトルを決定する有効積モーメントパラメータは、活性化関数、重み分散、および一部の関数ではネットワークの深さに依存する。
• ランダム行列およびCIFAR-10で訓練されたResNetsを用いた数値シミュレーションにより、普遍的スペクトル密度および動的等長性の理論的予測が確認された。
• 初期化によって同一の動的等長性レベルが保証されると、異なる活性化関数の学習曲線がより比較可能となり、混同要因が低減される。
• バッチ正規化の導入により、有効積モーメント方程式が学習可能な正規化パラメータを反映して修正されたが、普遍的スペクトル行動は保持された。