[論文レビュー] Bridging Nonlinearities and Stochastic Regularizers with Gaussian Error Linear Units

Dan Hendrycks, Kevin Gimpel|arXiv (Cornell University)|Jun 27, 2016

Adversarial Robustness in Machine Learning参考文献 24被引用数 754

ひとこと要約

この論文では、ニューロンの値に応じて確率的に恒等写像またはゼロ写像を適用するように設計された、ガウス誤差線形ユニット（GELU）と呼ばれる新しいニューラルネットワークの活性化関数を紹介する。実験的結果により、GELUは複数のタスクにおいてReLUやELUを上回る性能を示し、確率的解釈に基づく非線形性によって性能が向上することが明らかになった。

ABSTRACT

We propose the Gaussian Error Linear Unit (GELU), a high-performing neural network activation function. The GELU nonlinearity is the expected transformation of a stochastic regularizer which randomly applies the identity or zero map, combining the intuitions of dropout and zoneout while respecting neuron values. This connection suggests a new probabilistic understanding of nonlinearities. We perform an empirical evaluation of the GELU nonlinearity against the ReLU and ELU activations and find performance improvements across all tasks.

研究の動機と目的

• ドロップアウトとゾーンアウトの原則を統合し、入力ニューロンの値を尊重する新しいニューラルネットワークの活性化関数を開発すること。
• 非線形性を確率的正則化器の期待変換としてモデル化することにより、非線形性に確率的解釈をもたらすこと。
• さまざまな機械学習タスクにおいて、GELUをReLU や ELU といった既存の代替手法と比較して実験的に評価すること。
• 提案された関数が、より優れた正則化と非線形性によってモデル性能を向上させることを示すこと。

提案手法

• GELU活性化関数は、入力の累積分布に比例する確率で恒等写像またはゼロ写像を適用する確率的正則化器の期待値として定義される。
• 関数は数学的に GELU(x) = x · Φ(x) として表現され、Φ(x) は標準正規累積分布関数を表す。
• ドロップアウトの直観を採用してニューロンをランダムにマスクし、ゾーンアウトの直観を採用して一部の活性化を保持するが、それらを入力値に依存する微分可能な方法で行う。
• 確率的正則化器は、入力の大きさに応じて恒等写像またはゼロ写像を選択する確率変数としてモデル化され、滑らかで確率論的根拠を持つ非線形性を生み出す。
• GELUは微分可能で連続な関数として実装されており、深層ニューラルネットワークにおけるエンドツーエンド学習を可能にしている。

実験結果

リサーチクエスチョン

• RQ1 GELU活性化関数は、多様なタスクにおいてReLU や ELU と比較して、モデルの精度でどのように異なるか？
• RQ2 非線形性に確率的解釈をもたらすことで、確率的正則化を通じてニューラルネットワークの一般化性能が向上するか？
• RQ3 GELUの値に依存するマスク機構は、固定またはランダムなマスク戦略よりも優れた性能をもたらすか？
• RQ4 ドロップアウトとゾーンアウトの原則を連続的かつ微分可能形で統合することで、モデル性能がどの程度向上するか？

主な発見

• GELU活性化関数は、評価されたすべてのタスクにおいて、ReLU や ELU を一貫して上回る性能を達成した。
• GELUの確率的定式化により、非線形性が確率的正則化器の期待変換としての新たな理論的理解が得られた。
• 関数の滑らかで連続な性質により、深層ネットワークにおける安定的かつ効果的な誤差逆伝播が可能になった。
• 実験的結果により、GELUの値に依存する確率的正則化が、標準的な ReLU や ELU よりも優れた一般化性能をもたらすことが確認された。