[論文レビュー] Beyond Signal Propagation: Is Feature Diversity Necessary in Deep Neural Network Initialization?

Yaniv Blumenfeld, Dar Gilboa+1 more|arXiv (Cornell University)|Jul 2, 2020

Advanced Neural Network Applications被引用数 5

ひとこと要約

この論文は、信号伝播と勾配安定性を維持すれば、初期化時に同一で多様性のない特徴量を持つ深層ニューラルネットワークでも高い精度を達成できることを示している。著者たちは、ほぼすべての重みをゼロに初期化し、対称性の破れに非決定的GPU演算に依存することで、特徴量が同一のネットワークを訓練し、CIFAR-10で標準的なランダム初期化と同等の性能を達成した。これは、重み初期化における特徴量の多様性の必要性に疑問を呈するものである。

ABSTRACT

Deep neural networks are typically initialized with random weights, with variances chosen to facilitate signal propagation and stable gradients. It is also believed that diversity of features is an important property of these initializations. We construct a deep convolutional network with identical features by initializing almost all the weights to $0$. The architecture also enables perfect signal propagation and stable gradients, and achieves high accuracy on standard benchmarks. This indicates that random, diverse initializations are extit{not} necessary for training neural networks. An essential element in training this network is a mechanism of symmetry breaking; we study this phenomenon and find that standard GPU operations, which are non-deterministic, can serve as a sufficient source of symmetry breaking to enable training.

研究の動機と目的

• ランダムで多様な特徴量初期化が、成功した深層学習訓練に本当に必要かどうかを調査すること。
• 信号伝播と勾配安定性が、同一の初期特徴量であっても十分であるのではという仮説を検証すること。
• 非決定的ハードウェア演算が、同一初期特徴量を持つネットワークにおける十分な対称性の破れ機構として機能するかを調査すること。
• ドロップアウトや重み量子化などの異なる対称性の破れ機構が、対称的に初期化されたネットワークにおける学習成功に与える影響を評価すること。

提案手法

• 著者たちは、すべてのチャネルで初期特徴量が同一になるように、ほぼすべての重みをゼロに初期化した深層畳み込みネットワークを構築した。
• スケーリングなしのゼロ初期化スケーリング付きスキップ接続を備えた修正された残差ブロック構造を用いることで、ネットワーク全体に安定した信号伝播と勾配フローを維持した。
• バックプロパゲーション中に、非決定的GPU演算（例：浮動小数点丸め誤差）を主な対称性の破れ要因として使用した。
• 異なるハードウェアプラットフォームと精度形式（FP32、FP16）で学習性能を評価し、ドロップアウトなどの追加の対称性の破れ機構を有する・なしで比較した。
• 勾配摂動ノルムと層間の特徴量相関の減少を測定することで、訓練中にどの程度速く対称性が破れるかを定量化した。
• ドロップアウト、ハードウェアノイズ、量子化効果を含む、さまざまな初期化方式と対称性の破れ機構におけるモデル精度を比較した。

実験結果

リサーチクエスチョン

• RQ1 同一の初期特徴量を持つ深層ニューラルネットワークは、標準ベンチマークで高いテスト精度を達成できるか？
• RQ2 深層ネットワークの成功した学習には、重み初期化における特徴量の多様性が必須条件か？
• RQ3 非決定的GPU演算は、同一初期特徴量を持つネットワークで学習を可能にする十分な対称性の破れ源として機能できるか？
• RQ4 ドロップアウト、ハードウェアノイズ、量子化などの異なる対称性の破れ機構が、対称的に初期化されたネットワークにおける学習性能に与える影響は何か？
• RQ5 ハードウェアや浮動小数点精度の選択が、ゼロ初期化ネットワークにおける対称性の破れ効果に影響を与えるか？

主な発見

• すべての重みのうち1つを除きゼロに初期化した深層残差ネットワークは、CIFAR-10で94.8％のテスト精度を達成し、標準的なランダム初期化と同等の性能を示した。
• 非決定的GPU演算のみで十分な対称性の破れが可能であり、ドロップアウトやその他の明示的ノイズ機構がなくても正常な学習が可能であった。
• FP16ハードウェアでは、GPUノイズのみでは不十分であり、高い精度を得るにはドロップアウトなどの追加機構が必要だった。
• 特定のGPUでは、ハードウェアノイズのみに依存する場合、ゼロ初期化モデルとランダム初期化モデルの精度差が70％以上にまで開き、ハードウェア依存の性能差が示された。
• 後段の層でのみドロップアウトを適用しても、最初の層では対称性が打破されず、すべての層にドロップアウトを適用することで、ランダム初期化との精度差が解消された。
• すべての重みを1または単位行列で初期化したネットワークでは、対称性の破れプロセスが遅く、同等の性能に到達するまでにより多くの訓練ステップを要した。