[論文レビュー] Symmetrical Gaussian Error Linear Units (SGELUs)

Chao Yu, Zhiguo Su|arXiv (Cornell University)|Nov 10, 2019

Numerical Methods and Algorithms参考文献 11被引用数 4

ひとこと要約

本稿では、GELUの確率的正則化と対称性を組み合わせることで、双方向最適化を可能にし、勾配消失を軽減する、新しい活性化関数である対称型ガウス誤差線形ユニット（SGELU）を提案する。SGELUは、MNIST分類およびオートエンコーダタスクにおいて、GELU や LiSHT よりも優れた収束性と精度を達成しており、重み分布の改善とバッチ正規化の必要性の低減を、効率的な最小-最大正規化により実現している。

ABSTRACT

In this paper, a novel neural network activation function, called Symmetrical Gaussian Error Linear Unit (SGELU), is proposed to obtain high performance. It is achieved by effectively integrating the property of the stochastic regularizer in the Gaussian Error Linear Unit (GELU) with the symmetrical characteristics. Combining with these two merits, the proposed unit introduces the capability of the bidirection convergence to successfully optimize the network without the gradient diminishing problem. The evaluations of SGELU against GELU and Linearly Scaled Hyperbolic Tangent (LiSHT) have been carried out on MNIST classification and MNIST auto-encoder, which provide great validations in terms of the performance, the convergence rate among these applications.

研究の動機と目的

• 深層ネットワークにおける勾配消失問題を、対称性を持つ活性化関数の強化によって解決すること。
• GELUからの確率的正則化と対称的出力動作を統合することで、モデル性能を向上させること。
• 軽量な正規化手法と互換性を持つ活性化関数を設計することで、バッチ正規化への依存を低減すること。
• 分類およびオートエンコーダタスクにおいて、SGELUがGELUおよびLiSHTを上回ることを検証すること。

提案手法

• SGELUを、$ SGELU(x) = \alpha x \cdot \mathrm{erf}\left(\frac{x}{\sqrt{2}}\right) $ という式を用いて、GELUの対称的変種として提案する。ここで $ \alpha $ は学習可能なハイパーパrameterである。
• SGELU出力後に適用する最小-最大正規化技術を導入し、訓練を安定化させることで、バッチ正規化を置き換える。
• 連鎖律を用いて勾配を導出し、重み更新を分析することで、SGELUが負の入力に対しても非ゼロ勾配を維持することを示す。
• コルモゴロフ＝スミルノフ検定を用いて、SGELUの重みが正規分布に従うことを検証し、モデルのロバストネスを向上させること。
• MNIST分類およびオートエンコーダベンチマークを用いて、ReLU、ELU、GELU、LiSHT、SGELUの間で訓練ダイナミクスと損失収束性を比較する。
• SGELUがドロップアウトと不適合である理由を分析し、負の領域でのスパarsityの欠如に起因する非ゼロ活性化の性質を検証する。

実験結果

リサーチクエスチョン

• RQ1 GELU や LiSHT と比較して、対称的活性化関数は深層ネットワークにおける勾配の流れと収束性を向上させ得るか？
• RQ2 SGELUにおける確率的正則化と対称性の統合は、重み分布およびモデル一般化性能にどのように影響を与えるか？
• RQ3 SGELUはバッチ正規化への依存を低減するか？もしそうであるなら、同等またはより優れた性能を達成できる代替正規化技術は何か？
• RQ4 SGELUはなぜドロップアウトと相性が悪いのか？この文脈において、ReLU や GELU と比較して、SGELU の活性化特性はどのように異なるか？
• RQ5 MNIST分類およびオートエンコーディングタスクにおいて、SGELUはGELU や LiSHT をどの程度上回るのか？精度および収束速度の観点から評価する。

主な発見

• MNIST分類タスクにおいて、SGELUはGELU や LiSHT よりも高速な収束性と高いテスト精度を達成し、訓練損失およびテスト損失の低下が滑らかであった。
• MNISTオートエンコーディングにおいて、SGELUは5回の実行における訓練およびテストの中央値結果で、GELU や LiSHT を上回った。
• SGELUネットワークの重みは、8つの隠れ層のうち7つでコルモゴロフ＝スミルノフ正規性検定に合格したのに対し、GELUではわずか2つにとどまり、重み分布の質が優れていることが示された。
• バッチ正規化を用いず、最小-最大正規化を用いることで、SGELUはGELUと同等またはより高い精度を達成した。
• SGELUの出力後に最小-最大正規化を適用することで、バッチ正規化に比べて計算複雑度が低いため、訓練時間が著しく短縮された。
• ドロップアウトとの相性が悪く、負の領域での非ゼロ活性化がニューロンのスパarsityを妨げ、ドロップアウトの効果が薄れることが明らかになった。