[論文レビュー] On the Importance of Normalisation Layers in Deep Learning with Piecewise Linear Activation Units

Zhibin Liao, Gustavo Carneiro|arXiv (Cornell University)|Aug 3, 2015

Advanced Neural Network Applications参考文献 11被引用数 6

ひとこと要約

本稿では、深層順伝播ネットワークにおける区分線形活性化関数（ReLU、PReLU、Maxoutなど）の直前にバッチ正規化（BN）層を統合することで、活性化領域の使用をバランスさせる手法を提案する。BNにより活性化関数の領域における入力分布が安定化され、線形ユニットへの劣化が防止され、モデルの条件数が改善され、CIFAR-10、CIFAR-100、MNIST、SVHNで最先端または競争力のある結果が得られた。それぞれのテスト誤差は、8.52%（±0.20%）、29.20%（±0.20%）、0.35%（±0.03%）、1.97%（±0.08%）であった。

ABSTRACT

Deep feedforward neural networks with piecewise linear activations are currently producing the state-of-the-art results in several public datasets. The combination of deep learning models and piecewise linear activation functions allows for the estimation of exponentially complex functions with the use of a large number of subnetworks specialized in the classification of similar input examples. During the training process, these subnetworks avoid overfitting with an implicit regularization scheme based on the fact that they must share their parameters with other subnetworks. Using this framework, we have made an empirical observation that can improve even more the performance of such models. We notice that these models assume a balanced initial distribution of data points with respect to the domain of the piecewise linear activation function. If that assumption is violated, then the piecewise linear activation units can degenerate into purely linear activation units, which can result in a significant reduction of their capacity to learn complex functions. Furthermore, as the number of model layers increases, this unbalanced initial distribution makes the model ill-conditioned. Therefore, we propose the introduction of batch normalisation units into deep feedforward neural networks with piecewise linear activations, which drives a more balanced use of these activation units, where each region of the activation function is trained with a relatively large proportion of training samples. Also, this batch normalisation promotes the pre-conditioning of very deep learning models. We show that by introducing maxout and batch normalisation units to the network in network model results in a model that produces classification results that are better than or comparable to the current state of the art in CIFAR-10, CIFAR-100, MNIST, and SVHN datasets.

研究の動機と目的

• 区分線形活性化関数の領域にわたる入力分布の不均衡がモデル容量を低下させることを是正する。
• バッチ正規化が区分線形活性化を用いた深層ネットワークにおける学習安定性と性能に与える影響を調査する。
• 活性化領域の使用をバランスさせることで、深層アーキテクチャにおける一般化性能とモデルの条件数が向上することを示す。
• Maxoutとバッチ正規化を組み合わせた場合、標準ベンチマークで優れた性能を発揮することを示す。

提案手法

• 区分線形活性化ユニットの直前にバッチ正規化層を導入し、入力を正規化することで、活性化関数の領域にわたる分布の均等化を確保する。
• ミニバッチ統計を用いて活性化を正規化し、内部共変量シフトを低減し、安定した学習を促進する。
• ReLU、PReLU、Maxoutユニットを備えたモデルにこの手法を適用し、複数の深層ネットワークアーキテクチャで評価する。
• 標準的な最適化設定（学習率スケジューリング、モーメンタム、重み減衰）を用いて学習を行い、5回のランダム実行における平均値と標準偏差を報告する。
• CIFAR-10、CIFAR-100、MNIST、SVHNで、提案されたMIMモデル（Maxout with Batch Normalization）を最先端モデルと比較する。
• 2次元のトイ分類問題を用いて、入力分布の不均衡がモデルの収束と性能に与える影響を実証的に示す。

実験結果

リサーチクエスチョン

• RQ1 区分線形活性化関数の領域にわたる入力分布の不均衡は、深層ネットワークにおけるモデル性能を低下させるか？
• RQ2 バッチ正規化は、活性化領域の使用をバランスさせ、学習収束を改善できるか？
• RQ3 Maxoutとバッチ正規化の組み合わせは、標準ベンチマークで既存の最先端モデルと比較してどのように差をつけるか？
• RQ4 バッチ正規化は深層ネットワークをどの程度事前条件付けし、より高い学習率とより良い一般化性能を可能にするか？
• RQ5 なぜドロップアウトでは、区分線形活性化ユニットにおける不均衡問題を解消できないのか？

主な発見

• Maxoutユニットの直前にバッチ正規化を導入したことで、CIFAR-10におけるテスト誤差は8.52%（±0.20%）に低下し、表3に示されたすべての先行手法を上回った。
• CIFAR-100では、MIMモデルが29.20%（±0.20%）のテスト誤差を達成し、表4に比較されたすべての最先端モデルを上回った。
• MNISTでは、5回の実行で最高のテスト誤差0.35%（±0.03%）を達成し、文献に報告された最高水準の結果と一致した。
• SVHNでは、MIMモデルが1.97%（±0.08%）のテスト誤差を達成し、現在の最高水準の1.77%をわずかに下回ったが、依然として非常に競争力のある結果であった。
• バッチ正規化を適用しないモデルでは、学習率が閾値を超えると収束しなかったため、活性化の不均衡に起因するモデルの劣化が顕著に現れた。
• トイ実験により、バッチ正規化がなければReLUおよびMaxoutユニットが不十分に使用され、一般化性能が低く、学習が停滞することが確認された。