[論文レビュー] Effectiveness of Scaled Exponentially-Regularized Linear Units (SERLUs)

Guoqiang Zhang, Haopeng Li|arXiv (Cornell University)|Jul 26, 2018

Neural Networks and Applications参考文献 9被引用数 5

ひとこと要約

本稿では、自己正規化を強化し、過学習を軽減するために負の入力領域にボタン型の応答を導入する非単調な活性化関数、スケーリング指数正則化線形ユニット（SERLU）を提案する。MNIST、CIFAR10、CIFAR100における実験では、SELU、Swish、ReLUを含む5つのベースライン活性化関数を上回り、特に深く複雑なデータセットにおいて、精度と頑健性に一貫した向上を示した。

ABSTRACT

Recently, self-normalizing neural networks (SNNs) have been proposed with the intention to avoid batch or weight normalization. The key step in SNNs is to properly scale the exponential linear unit (referred to as SELU) to inherently incorporate normalization based on central limit theory. SELU is a monotonically increasing function, where it has an approximately constant negative output for large negative input. In this work, we propose a new activation function to break the monotonicity property of SELU while still preserving the self-normalizing property. Differently from SELU, the new function introduces a bump-shaped function in the region of negative input by regularizing a linear function with a scaled exponential function, which is referred to as a scaled exponentially-regularized linear unit (SERLU). The bump-shaped function has approximately zero response to large negative input while being able to push the output of SERLU towards zero mean statistically. To effectively combat over-fitting, we develop a so-called shift-dropout for SERLU, which includes standard dropout as a special case. Experimental results on MNIST, CIFAR10 and CIFAR100 show that SERLU-based neural networks provide consistently promising results in comparison to other 5 activation functions including ELU, SELU, Swish, Leakly ReLU and ReLU.

研究の動機と目的

• SELUの単調性を破るが、自己正規化特性を維持する新しい活性化関数の開発を目的とする。
• 負の入力領域にボタン型関数を導入することで、活性化の平均をゼロに近づけることにより、学習収束性と一般化性能の向上を図る。
• SERLUに特化した新しいドロップアウト変種、シフトドロップアウトを導入することで、深層ネットワークにおける過学習を是正する。
• 複数のベンチマークデータセット（MNIST、CIFAR10、CIFAR100）において、統一されたフレームワークでSERLUの性能を、5つの確立された活性化関数と比較する。

提案手法

• SERLUは、負の入力領域においてスケーリングされた指数関数による正則化を施した線形関数として定義され、ボタン型の活性化曲線を形成する。
• ボタンは、大きな負の入力に対してほぼゼロの応答を持つように設計されており、同時に活性化の統計的平均中心化を可能にする。
• 標準ドロップアウトを一般化した新しい正則化技術、シフトドロップアウトを導入し、SERLUの関数形に特化して適応させた。
• SERLUの自己正規化挙動は、密度のあるグリッド上で数値的に評価され、平均と分散がゼロおよび1に近い維持能力を評価した。
• 実験では、データオーグメンテーションとRMSProp最適化を用いて、MNIST、CIFAR10、CIFAR100の各データセットに対して修正版LeNetアーキテクチャを用いた。
• すべての活性化関数は同一の学習条件で比較され、モデル間でドロップアウト率を一貫させた。

実験結果

リサーチクエスチョン

• RQ1 負の入力領域にボタン型応答を持つ非単調な活性化関数は、SELUと同様の自己正規化特性を維持できるか？
• RQ2 負の入力領域にボタン型関数を導入することで、深層ニューラルネットワークにおける学習収束性と一般化性能が向上するか？
• RQ3 専用のドロップアウト技術（シフトドロップアウト）は、SERLUと組み合わせた場合に、過学習を効果的に抑制できるか？
• RQ4 多様なデータセットにおいて、ReLU、ELU、SELU、Swish、Leaky ReLUといった確立された活性化関数と比較して、SERLUの性能はどの程度か？

主な発見

• テストされた6つの活性化関数の中で、CIFAR100では最高の性能、CIFAR10では2番目の高い性能を達成し、優れた一般化性能を示した。
• MNISTでは、性能が最良のベースラインであるSwishと同等の検証損失を達成した。
• 3つのデータセットすべてにおいて、訓練エポックにわたり顕著な過学習を示さず、一貫した良好な結果を示した。
• SERLUの負の入力領域におけるボタン型応答は、CIFAR10の訓練曲線から観察されるように、より速い収束性と改善された安定性に関連している。
• シフトドロップアウトは過学習を効果的に抑制し、標準ドロップアウトを上回る性能を示した。これは、非単調な活性化関数に適した技術である可能性を示唆している。
• 数値的評価により、SERLUはテストされた点においてSELUと同様の自己正規化挙動を示すことが確認されたが、連続領域における理論的証明は未解決のままである。