[論文レビュー] A Sober Look at Neural Network Initializations

Ingo Steinwart|arXiv (Cornell University)|Mar 27, 2019

Neural Networks and Applications参考文献 12被引用数 5

ひとこと要約

この論文は、ReLUネットワークにおける一般的な深層ニューラルネットワークの重みおよびバイアス初期化戦略を批判的に検討し、ヘイやザクソの標準的手法が、最適でないバイアス設定のため、初期段階でのニューロンの不活性化といった、劣った初期ネットワーク挙動を引き起こす可能性があることを明らかにした。著者らは、バイアスを小さな正の値に設定する新しい初期化手法を提案し、ImageNetおよびCIFAR-100における大規模な実験によって、初期ネットワークの表現能力と一般化性能が著しく向上することを検証した。

ABSTRACT

Initializing the weights and the biases is a key part of the training process of a neural network. Unlike the subsequent optimization phase, however, the initialization phase has gained only limited attention in the literature. In this paper we discuss some consequences of commonly used initialization strategies for vanilla DNNs with ReLU activations. Based on these insights we then develop an alternative initialization strategy. Finally, we present some large scale experiments assessing the quality of the new initialization strategy.

研究の動機と目的

• ReLUベースの深層ニューラルネットワークの初期関数に、一般的な初期化戦略が与える影響を調査すること。
• 特にニューロンの不活性化と初期段階での表現能力に関する観点から、広く使われている初期化ヒューリスティクスの欠陥を特定すること。
• 多様な入力パターンを初期段階から効果的に表現できるように、初期ネットワークの能力を向上させる新しい初期化戦略を開発すること。
• ImageNetやCIFAR-100といった大規模ベンチマークで、提案された初期化を実証的に検証すること。
• ゼロまたは負の値とは異なるバイアス初期化の理論的・実証的根拠を提供すること。

提案手法

• ランダムな重みとバイアスを持つ1つのReLUニューロンの理論的分析を行い、すべての入力に対して出力がゼロ（不活性）である確率に注目する。
• 異なる初期化分布におけるニューロンの不活性化確率および完全活性化確率の正確な式を導出する。
• 幾何確率および凸幾何学を用いて、重みベクトルが入力データのサポートに対してどのように分布するかを分析する。
• 新しい初期化戦略の導入：ゼロまたは負の値ではなく、小さな正の値（例：0.1）にバイアスを設定する。
• ResNetおよびDenseNetアーキテクチャを用いたImageNetおよびCIFAR-100における実験的評価を、標準的なトレーニングプロトコルに従って実施する。
• 複数のアーキテクチャおよびデータセットにおいて、標準的および提案された初期化戦略の間で、学習ダイナミクスと最終精度を比較する。

実験結果

リサーチクエスチョン

• RQ1 バイアス初期化の選択が、ReLUニューロンが初期段階で不活性（出力がゼロ）である確率にどのように影響するか？
• RQ2 ヘイやザクソなどの標準的手法が、深層ReLUネットワークの初期関数に与える理論的影響は何か？
• RQ3 なぜバイアスを小さな正の値に初期化することが、ゼロまたは負の値よりも初期ネットワークの表現能力を向上させるのか？
• RQ4 提案された初期化戦略は、大規模なビジョンベンチマークで、学習ダイナミクスおよび最終精度をどの程度向上させるのか？
• RQ5 入力データの幾何的構造は、異なる初期化スキーム下で不活性なニューロンの分布にどのように影響を与えるか？

主な発見

• バイアスを小さな正の値（例：0.1）に設定することで、ゼロまたは負のバイアスと比較して、ReLUニューロンが初期段階で不活性になる確率が顕著に低下する。
• 理論的分析により、バイアスがゼロの場合、ニューロンが不活性である確率は無視できないほど高く、特にデータが中心化されている場合、入力データの幾何構造に依存することが示された。
• 提案された初期化戦略により、初期段階で完全に活性なニューロンの割合が高まり、入力パターンの多様性を初期段階から効果的に表現できる能力が向上する。
• ImageNetでは、ResNet-50およびDenseNet-121モデルにおいて、標準的なヘイ初期化と比較して、トップ-1精度が最大1.2%向上した。
• CIFAR-100では、複数のアーキテクチャにわたり一貫した向上が観察され、トップ-1精度が0.8〜1.0%向上し、さまざまな設定にわたる頑健性を示した。
• 実験結果により、向上した初期段階の表現能力が、実際の学習速度の向上およびより優れた一般化性能に直結することが確認された。