[論文レビュー] Comparison of non-linear activation functions for deep neural networks on MNIST classification task

Dabal Pedamonti|arXiv (Cornell University)|Apr 8, 2018

Neural Networks and Applications参考文献 2被引用数 120

ひとこと要約

この論文は Leaky ReLU、ELU、SELU を ReLU およびシグモイドと比較し、MNIST での性能を評価する。ネットワークの深さを最大 8 層まで分析し、さまざまな重み初期化スキームと学習率を評価して性能と一般化を検討する。

ABSTRACT

Activation functions play a key role in neural networks so it becomes fundamental to understand their advantages and disadvantages in order to achieve better performances. This paper will first introduce common types of non linear activation functions that are alternative to the well known sigmoid function and then evaluate their characteristics. Moreover deeper neural networks will be analysed because they positively influence the final performances compared to shallower networks. They also strictly depend on the weight initialisation hence the effect of drawing weights from Gaussian and uniform distribution will be analysed making particular attention on how the number of incoming and outgoing connection to a node influence the whole network.

研究の動機と目的

• Leaky ReLU、ELU、SELU などの異なる非線形活性化関数が、 sigmoid および ReLU のベースラインと比較して MNIST 分類でどのように性能を発揮するかを評価・比較する。
• 異なる重みの初期化スキームの下で、深さ（最大 8 隠れ層）を増やすことが精度と損失に与える影響を調査する。
• Glorot Uniform/Gaussian、fan_in、fan_out などの初期化戦略と学習率が、訓練ダイナミクスと一般化に与える影響を評価する。

提案手法

• ReLU の派生を含む活性化関数とその勾配を説明・分析する。
• 2 層の隠れ層（各層 100 ユニット）を用いた MNIST 実験を実施し、活性化を比較する。
• 学習率を 0.01、0.05、0.1、0.2 と変化させ、訓練データと検証データの損失/精度を観察する。
• 異なる重み初期化（uniform、fan_in、fan_out、gaussian）を用いた ELU を含むより深いネットワークを評価し、SELU との比較を行う。
• 深さを最大 8 隠れ層まで増やすと検証精度と損失を記録する。
• 初期化手法（Glorot uniform、fan_in、fan_out、Gaussian）を比較し、精度と損失への影響を報告する。

実験結果

リサーチクエスチョン

• RQ1 どの活性化関数（Leaky ReLU、ELU、SELU）が、MNIST において sigmoid および ReLU のベースラインと比較して最高の精度と最小の損失をもたらすか？
• RQ2 異なる初期化スキームの下で、ELU および SELU の活性化でネットワークの深さを増やすと MNIST の性能にどう影響するか？
• RQ3 ELU/SELU ネットワークにおける学習ダイナミクスと最終的な精度に対する重み初期化（Glorot Uniform/Gaussian、fan_in、fan_out）の影響は何か？
• RQ4 学習率の選択（例: 0.05 対 0.1）が、これらの活性化に対して検証性能と過学習にどのように影響するか？

主な発見

• ELU は、MNIST のテスト実行全体を通じて、Leaky ReLU および ReLU よりも一般に損失と精度が高い。
• ELU は多くの実験で SELU を上回ることが多いが、特定の学習率（例: 0.05）では SELU が時折 ELU に並ぶことがある。
• ReLU およびその派生は MNIST のタスクで一貫して Sigmoid を上回る。
• ELU を用いた深いネットワークは、Glorot uniform 初期化で 7 層隠れ層のとき検証精度を最大 0.983 に達しうる。
• 重み初期化は最終的な精度と損失に大きく影響する。Glorot uniform は平均精度がより高いことが多く、深いネットワークは性能を向上させる一方訓練時間も増加する。
• Gaussian 重み初期化は一般に安定した検証損失と高い精度を提供する（SELU の状況で特に顕著）。
• 深さが増すにつれて精度は向上する傾向があり、訓練時間も増加する。これは性能と計算のトレードオフを強調する。