[論文レビュー] ZerO Initialization: Initializing Neural Networks with only Zeros and Ones

Jiawei Zhao, Florian Schäfer+1 more|arXiv (Cornell University)|Oct 25, 2021

Advanced Neural Network Applications参考文献 10被引用数 10

ひとこと要約

この論文は、恒等変換およびハダマール変換を用いてゼロとイチの値のみを用いる完全に決定論的な重み初期化手法ZerOを提案する。この手法により、ランダム初期化を用いずにImageNetで最先端の性能を達成した。ZerOはバッチ正規化を必要とせず、超深層ネットワーク（例：500層以上）の安定した学習を可能にし、低ランクの学習軌道を示し、スパースで低複雑性のモデルを生成することで再現性を向上させる。

ABSTRACT

Deep neural networks are usually initialized with random weights, with adequately selected initial variance to ensure stable signal propagation during training. However, selecting the appropriate variance becomes challenging especially as the number of layers grows. In this work, we replace random weight initialization with a fully deterministic initialization scheme, viz., ZerO, which initializes the weights of networks with only zeros and ones (up to a normalization factor), based on identity and Hadamard transforms. Through both theoretical and empirical studies, we demonstrate that ZerO is able to train networks without damaging their expressivity. Applying ZerO on ResNet achieves state-of-the-art performance on various datasets, including ImageNet, which suggests random weights may be unnecessary for network initialization. In addition, ZerO has many benefits, such as training ultra deep networks (without batch-normalization), exhibiting low-rank learning trajectories that result in low-rank and sparse solutions, and improving training reproducibility.

研究の動機と目的

• ランダム重み初期化が深層ニューラルネットワークの学習に必要かどうかを調査すること。
• 非常に深層なネットワークにおける分散選択および勾配消失／爆発の課題に対処すること。
• 安定した信号伝搬を保証し、ランダムな分散チューニングの必要性を回避する決定論的初期化スキームを開発すること。
• 決定論的初期化が低複雑性、スパース、再現性の高いモデルをもたらすかどうかを調査すること。

提案手法

• ZerOは、恒等変換およびハダマール変換を決定論的に適用することで、ゼロとイチの値のみを用いてネットワーク重みを初期化する。
• この手法は、残差ブロックにおける次元の維持に単位行列を適用し、次元拡大層にはハダマール行列の列を用いる。
• ランダムな摂動なしに信号伝搬の安定性を維持することで、ダイナミカル等長性を確保する。
• 初期化は層全体に均一に適用され、任意のランダムな重み分散チューニングを回避する。
• ZerOは、ハダマール行列および単位行列の構造を活用して、完全に決定論的かつ正規化された初期化スキームを構築する。
• このアプローチにより、バッチ正規化なしで学習が可能となり、超深層アーキテクチャのサポートが可能になる。

実験結果

リサーチクエスチョン

• RQ1 ランダム重み初期化なしに深層ニューラルネットワークを効果的に学習できるか？
• RQ2 ゼロとイチのみを用いた決定論的初期化が、ネットワークの表現力および一般化性能を維持できるか？
• RQ3 ZerO学習は、ImageNetのような標準ベンチマークで最先端の性能を達成できるか？
• RQ4 ZerOは低ランクの学習軌道を誘発し、スパースで低複雑性の解に到達できるか？
• RQ5 ZerOは、ランダム初期化と比較して、学習の再現性を向上させられるか？

主な発見

• ZerOは、ランダム初期化を用いずにImageNetで最先端の精度を達成し、標準的手法を上回った。
• ZerOは、バッチ正規化なしに500層を超えるResNetアーキテクチャの安定した学習を可能にした。
• ZerOは、学習中に行列ランクが徐々に増加するグリーディな低ランク学習軌道を示した。
• ZerOで学習されたモデルは、精度を損なわずに、ランダム初期化と比較して25%高いスパースネス、または30%低いランクのカーネル近似を達成した。
• ZerOは、重み初期化におけるランダムシード依存性を排除することで、学習の再現性を向上させた。
• この手法は低複雑性の解への収束を促進し、プルーニングや低ランク近似によるより効率的な推論の可能性を示唆している。