[論文レビュー] Natural-Logarithm-Rectified Activation Function in Convolutional Neural Networks

Yang Liu, Jianpeng Zhang+3 more|arXiv (Cornell University)|Aug 10, 2019

Advanced Neural Network Applications参考文献 22被引用数 4

ひとこと要約

本論文では、自然対数を用いたパラメトリックな非線形変換を導入することで、死滅ReLU問題や消失勾配問題を軽減する、新しい活性化関数であるNatural-Logarithm-Rectified Linear Unit (NLReLU) を提案する。実験の結果、浅いネットワークにおいてMNISTで0.16%、CIFAR-10で2.04%の分類精度向上が得られ、深層CIFAR-10ネットワークでは平均1.35%の向上を示した。

ABSTRACT

Activation functions play a key role in providing remarkable performance in deep neural networks, and the rectified linear unit (ReLU) is one of the most widely used activation functions. Various new activation functions and improvements on ReLU have been proposed, but each carry performance drawbacks. In this paper, we propose an improved activation function, which we name the natural-logarithm-rectified linear unit (NLReLU). This activation function uses the parametric natural logarithmic transform to improve ReLU and is simply defined as. NLReLU not only retains the sparse activation characteristic of ReLU, but it also alleviates the "dying ReLU" and vanishing gradient problems to some extent. It also reduces the bias shift effect and heteroscedasticity of neuron data distributions among network layers in order to accelerate the learning process. The proposed method was verified across ten convolutional neural networks with different depths for two essential datasets. Experiments illustrate that convolutional neural networks with NLReLU exhibit higher accuracy than those with ReLU, and that NLReLU is comparable to other well-known activation functions. NLReLU provides 0.16% and 2.04% higher classification accuracy on average compared to ReLU when used in shallow convolutional neural networks with the MNIST and CIFAR-10 datasets, respectively. The average accuracy of deep convolutional neural networks with NLReLU is 1.35% higher on average with the CIFAR-10 dataset.

研究の動機と目的

• 深層畳み込みニューラルネットワークにおける、ReLUの限界（死滅ReLU問題や消失勾配）を解消すること。
• ネットワークの各層におけるニューロン活性化のバイアスシフトとヘテロスケダスティシティを低減し、学習を加速すること。
• ReLUのスパarsityを維持しながら、勾配の流れとモデル性能を向上させる活性化関数を開発すること。
• 多様なネットワークアーキテクチャとデータセットを用いて、NLReLUの堅牢性と一般化性能を評価すること。

提案手法

• NLReLUは、x ≥ 0 に対して f(x) = ln(1 + exp(αx)) として定義され、αは学習可能なパラメータであり、ReLUの挙動と自然対数変換を組み合わせたものである。
• パラメトリックな形により、ネットワークが入力の最適なスケーリングを学習可能となり、その後に非線形性を適用する。
• 負の入力に対して出力をゼロとするため、ReLUと同様にスパarsityを保持し、計算効率を維持する。
• 対数成分により、大きな正の値に対して勾配が緩和され、死滅ReLUのリスクが低減され、学習が安定化する。
• 本手法は、MNISTおよびCIFAR-10の2つのベンチマークデータセット上で、10種類の異なる畳み込みニューラルネットワークアーキテクチャに統合された。
• 標準的な最適化プロトコルを用いて学習を行い、標準的な正解率メトリクスで性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックな対数変換は、深層CNNにおけるReLUの学習ダイナミクスを改善できるか？
• RQ2 標準ReLUと比較して、NLReLUは死滅ReLU問題や消失勾配問題を効果的に軽減できるか？
• RQ3 NLReLUは、層間のニューロン活性化分布におけるバイアスシフトとヘテロスケダスティシティをどの程度低減できるか？
• RQ4 標準的なビジョンベンチマークにおいて、NLReLUは他の代表的な活性化関数と比較してどの程度の性能を示すか？
• RQ5 NLReLUは、さまざまなネットワークの深さやアーキテクチャにおいて一貫して精度を向上できるか？

主な発見

• 浅い畳み込みニューラルネットワークを用いたMNISTデータセットでは、NLReLUがReLUに対して平均0.16%の精度向上を達成した。
• CIFAR-10データセットにおいて、浅いネットワークではNLReLUがReLUに対して平均2.04%の精度向上を示した。
• CIFAR-10の深層畳み込みニューラルネットワークでは、NLReLUがReLUに対して平均1.35%の精度向上を達成した。
• 提案されたNLReLUは、Leaky ReLU や ELU といった既知の活性化関数と同等の性能を示した。
• NLReLUは、ニューロン活性化分布におけるバイアスシフトとヘテロスケダスティシティを効果的に低減し、収束速度の向上に寄与した。
• NLReLUのパラメトリック構造により、最適な変換パラメータを適応的に学習可能となり、一般化性能と学習安定性が向上した。