[論文レビュー] Initialization of ReLUs for Dynamical Isometry

Rebekka Burkholz, Alina Dubatovka|arXiv (Cornell University)|Jun 17, 2018

Adversarial Robustness in Machine Learning参考文献 25被引用数 5

ひとこと要約

この論文は、ReLUネットワークのための新しい初期化スキームを提案し、パラメータ共有を強制することで、完全なダイナミカル等長性を達成する。標準的なHe初期化は深層ネットワークにおける信号の多様性を保てないという限界を克服する。この方法により勾配の安定した流れが確保され、バッチ正規化を必要とせず、MNISTおよびCIFAR-10において、特に深層アーキテクチャで訓練精度が著しく向上する。

ABSTRACT

Deep learning relies on good initialization schemes and hyperparameter choices prior to training a neural network. Random weight initializations induce random network ensembles, which give rise to the trainability, training speed, and sometimes also generalization ability of an instance. In addition, such ensembles provide theoretical insights into the space of candidate models of which one is selected during training. The results obtained so far rely on mean field approximations that assume infinite layer width and that study average squared signals. We derive the joint signal output distribution exactly, without mean field assumptions, for fully-connected networks with Gaussian weights and biases, and analyze deviations from the mean field results. For rectified linear units, we further discuss limitations of the standard initialization scheme, such as its lack of dynamical isometry, and propose a simple alternative that overcomes these by initial parameter sharing.

研究の動機と目的

• 標準的なReLU重み初期化スキーム（例：He初期化）におけるダイナミカル等長性の欠如に対処すること。
• ガウス分布の重みとバイアスを用いた全結合ReLUネットワークにおける信号伝播の正確で平均場近似を用いない解析を確立すること。
• 信号相関を保持し、バッチ正規化に依存せずに深層ネットワークで安定した学習を可能にする初期化スキームを特定すること。
• 完全なダイナミカル等長性を保証する、He初期化の単純で効果的な代替案を提案すること。

提案手法

• 平均場近似に依存せずに、ガウス分布の重みとバイアスを用いた全結合ReLUネットワークの正確な共同信号出力分布を導出する。
• 入力間の信号スカラー積の層ごとの伝播をモデル化する線形遷移作用素を導入する。
• この作用素の固有値特性を分析し、学習可能性と信号の区別可能性を評価する。
• 一部の重みを共有または構造化することで完全な信号伝送を保証する新しい初期化スキーム（GSM：Gaussian with Shared Means）および直交重み初期化を提案する。
• 入力の区別可能性を層ごとに評価する指標として、出力信号間のコサイン類似度を用いる。
• MNISTおよびCIFAR-10における、さまざまな深さと幅の全結合ReLUネットワークを用いた実験的評価を実施し、同じ訓練条件下でHe初期化、GSM初期化、直交初期化を比較する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的なReLU初期化スキーム（例：He初期化）は深層ネットワークでダイナミカル等長性を達成できないのか？
• RQ2 深層ReLUネットワークにおける信号伝播の正確で漸近的でない解析は、平均場近似の限界を明らかにできるか？
• RQ3 バッチ正規化に依存せずにReLUネットワークで完全なダイナミカル等長性を達成する初期化スキームは何か？
• RQ4 初期パラメータ共有は、深層全結合ネットワークにおける信号多様性と学習可能性をどのように向上させるか？

主な発見

• 標準的なHe初期化は信号分散を保つが、深さが増すにつれて信号の整合性が高まり、信号多様性を維持できず、深層ネットワークでは学習性が著しく低下する。
• 提案されたGSMおよび直交初期化スキームは、MNISTおよびCIFAR-10の両方でHe初期化を常に上回り、特に深層アーキテクチャで顕著な性能向上を示す。高いテスト精度と安定した学習が得られる。
• 深層ネットワーク（L ≥ 10）では、He初期化モデルの精度が低下する一方、GSMおよび直交初期化モデルは深さが増すにつれて精度を維持または向上させる。
• 直交初期化バリアントは、さまざまな幅に対して最も信頼性の高い性能を示し、幅が広がるにつれて精度が向上する。
• 正確な信号分布解析により、出力分布は入力間のスカラー積のみに依存し、高次相互作用は影響しないことが判明した。
• 入力-出力ヤコビアンの平均スペクトル密度よりも、信号伝播作用素の固有値特性が学習可能性の評価においてより有用であることが明らかになった。