[論文レビュー] Shifting Mean Activation Towards Zero with Bipolar Activation Functions

Lars Hiller Eidnes, Arild Nøkland|arXiv (Cornell University)|Sep 12, 2017

Neural Networks and Applications参考文献 20被引用数 10

ひとこと要約

この論文は、ReLU や ELU の拡張版である双極的活性化関数を導入し、ニューロン間で符号反転を繰り返すことで、層の平均活性化をゼロに近づけ、バッチ正規化を用いない深層ネットワークにおける学習安定性を向上させる。実験では、深層 RNN および CNN において収束が速く、テスト誤差が低い結果が得られ、非ゲート型モデルで Penn Treebank および Text8 で最先端の結果を達成し、バッチ正規化なしで CIFAR-10 の性能も向上させた。

ABSTRACT

We propose a simple extension to the ReLU-family of activation functions that allows them to shift the mean activation across a layer towards zero. Combined with proper weight initialization, this alleviates the need for normalization layers. We explore the training of deep vanilla recurrent neural networks (RNNs) with up to 144 layers, and show that bipolar activation functions help learning in this setting. On the Penn Treebank and Text8 language modeling tasks we obtain competitive results, improving on the best reported results for non-gated networks. In experiments with convolutional neural networks without batch normalization, we find that bipolar activations produce a faster drop in training error, and results in a lower test error on the CIFAR-10 classification task.

研究の動機と目的

• 深層ネットワークにおける非ゼロ平均の活性化という問題に取り組み、学習を遅くし、消失／爆発勾配問題を悪化させることを目的とする。
• バッチ正規化のような正規化層に依存しないようにするため、活性化関数を設計し、ゼロ中心の活性化を内因的に促進する。
• 活性化関数の変更により、深層バニラ RNN および順伝播ネットワークにおける学習ダイナミクスと収束速度を改善することを目的とする。
• 双極的活性化関数が、明示的な正規化なしに言語モデリングおよび画像分類タスクで競争力のある性能を達成できるかどうかを評価することを目的とする。

提案手法

• 偶数番目のニューロンに f(x) を、奇数番目のニューロンに -f(-x) を適用することで、双極的活性化関数を提案し、平均活性化がゼロに近づくようにする。
• ReLU、Leaky ReLU、ELU の変種にこの手法を適用し、BReLU、BLeakyReLU、BELU を作成する。
• 活性化の分散を各層で一定に保つために、Layer-Sequential Unit Variance (LSUV) 初期化を用いる。
• 深層 RNN の学習安定性を向上させるために、残差接続、重み共有、ドロップアウトを採用する。
• バッチ正規化を削除した上で、Penn Treebank および Text8 で文字レベルの言語モデリング、CIFAR-10 で畳み込みネットワークを用いてモデルを学習する。
• 学習率スケジューリングとデータオーグメンテーションを用いて、バッチ正規化なしの CNN の学習を安定化させる。

実験結果

リサーチクエスチョン

• RQ1 バッチ正規化なしで、双極的活性化関数が深層ネットワークの平均活性化シフトを低減できるか？
• RQ2 双極的活性化関数を用いることで、深層バニラ RNN における学習安定性と収束速度が向上するか？
• RQ3 双極的活性化関数を用いることで、LSTM などのゲート機構が不要な言語モデリングタスクで競争力のある性能が達成できるか？
• RQ4 バッチ正規化なしで、双極的活性化関数を用いることで、CNN における学習率の上限が上昇し、誤差の低下が速くなるか？
• RQ5 双極的活性化関数と LSUV 初期化の組み合わせが、深層ネットワークにおける明示的な正規化層を代替するのに十分か？

主な発見

• Penn Treebank および Text8 データセットでは、36層の BELU-RNN が 1.423 BPC のテスト誤差を達成し、非ゲート型ネットワークの最良報告結果（1.48 BPC の Skipping-RNN）を上回った。
• BELU-RNN モデルは、テスト誤差の観点で、LSTM や MI-LSTM といった複数のゲート型モデルを上回った。
• CIFAR-10 では、BReLU を用いた Orieneted Response Network でテスト誤差が 9.20%（ReLU 時）から 4.91% に低下し、Wide ResNet では 9.78% から 6.03% に低下した。
• 双極的活性化関数を用いたネットワークでは、標準の ReLU と比較して最大 64 倍の高い学習率で学習が可能であり、学習安定性の向上を示している。
• 双極的活性化関数を用いることで、学習誤差の低下が速く、ORN や WRN の両アーキテクチャにおいて、最終的なテスト誤差が標準の ReLU や ELU よりも一貫して低かった。
• これらの結果は、双極的活性化関数と LSUV 初期化の組み合わせが、バッチ正規化を代替可能であり、より速い収束とより良い一般化性能を実現できることを示している。