[論文レビュー] A Survey on Activation Functions and their relation with Xavier and He Normal Initialization

Leonid Datta|arXiv (Cornell University)|Mar 18, 2020

Neural Networks and Applications被引用数 50

ひとこと要約

活性化関数の特性、主要な活性化関数（シグモイド、tanh、ReLU、Leaky ReLU、PReLU）、それらの問題、XavierとHe normal初期化がそれらとどのように関連するかを詳述する調査。

ABSTRACT

In artificial neural network, the activation function and the weight initialization method play important roles in training and performance of a neural network. The question arises is what properties of a function are important/necessary for being a well-performing activation function. Also, the most widely used weight initialization methods - Xavier and He normal initialization have fundamental connection with activation function. This survey discusses the important/necessary properties of activation function and the most widely used activation functions (sigmoid, tanh, ReLU, LReLU and PReLU). This survey also explores the relationship between these activation functions and the two weight initialization methods - Xavier and He normal initialization.

研究の動機と目的

• ニューラルネットワークで活性化関数を効果的にする主要な性質を特定する。
• 広く使用されている活性化関数とそれらの長所/短所をレビューする。
• Xavier および He normal 初期化が活性化関数とどのように関連するかを説明する。
• 勾配消失や死ニューロンといった問題とそれらの活性化との関係を強調する。

提案手法

• 本論文は活性化関数の特性とそれらが直面する問題（勾配消失、死ニューロン）を調査する。
• シグモイド、tanh、ReLU、Leaky ReLU、PReLU を検討し、それらの特徴と欠点を詳述する。
• 重みの初期化手法（Xavier および He normal）とディープネットワークの訓練への影響を分析する。
• 活性化の特性が初期化と相互作用して訓練ダイナミクスに与える影響について論じる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークで活性化関数が良好に機能するために必要な性質は何か？
• RQ2 一般的な活性化関数（sigmoid、tanh、ReLU、Leaky ReLU、PReLU）は、勾配消失と死ニューロンの問題の観点でどのように比較されるか？
• RQ3 Xavier および He normal 初期化はこれらの活性化関数の有効性とどのように関連し、影響を与えるか？
• RQ4 どのような状況で Xavier 付きの tanh または He 初期化付きの ReLU が推奨されるか？

主な発見

• 活性化関数は学習を促進するために非線形で、微分可能、連続であり、理想的にはゼロ中心であるべきである。
• シグモイドと tanh は勾配消失の問題を抱える。ReLU の派生形はこれを緩和するが死ニューロンを引き起こす可能性がある。PReLU / Leaky ReLU は中間の挙動を提供する。
• ReLU と He normal 初期化はしばしばより速く良好な訓練をもたらす、特にディープネットワークで；Xavier 初期化はより浅いネットワークや線形レジームの仮定に適している。
• X tanh は非深層ネットワークには機能する可能性があるが、深層アーキテクチャには He 初期化の整流非線形性が推奨される。
• 本調査は活性化関数の特性と初期化の選択を結びつけ、訓練ダイナミクスと性能を説明する。