[論文レビュー] Empirical analysis of non-linear activation functions for Deep Neural Networks in classification tasks

Giovanni Alcantara|arXiv (Cornell University)|Oct 30, 2017

Adversarial Robustness in Machine Learning参考文献 6被引用数 15

ひとこと要約

この論文は、MNIST画像分類のための深層ニューラルネットワークにおいて、Sigmoid、ReLU、Leaky ReLU、ELU、SELUの5つの非線形活性化関数を実験的に評価している。固定されたハイパーパrameterと深さの変化を用いて、ELUが他の関数を上回ることを発見した。最適な性能は、3層の隠れ層、学習率0.02、エアリー・ストッピング、Glorot均一重み初期化を組み合わせることで達成され、テスト精度は97.9%に達した。

ABSTRACT

We provide an overview of several non-linear activation functions in a neural network architecture that have proven successful in many machine learning applications. We conduct an empirical analysis on the effectiveness of using these function on the MNIST classification task, with the aim of clarifying which functions produce the best results overall. Based on this first set of results, we examine the effects of building deeper architectures with an increasing number of hidden layers. We also survey the impact of using, on the same task, different initialisation schemes for the weights of our neural network. Using these sets of experiments as a base, we conclude by providing a optimal neural network architecture that yields impressive results in accuracy on the MNIST classification task.

研究の動機と目的

• 画像分類のための深層ニューラルネットワークにおける主な非線形活性化関数の実験的性能を評価すること。
• 制御されたトレーニング条件下で、MNISTデータセットに対する最適な活性化関数を特定すること。
• ネットワークの深さと重み初期化方針がモデルの精度と一般化性能に与える影響を調査すること。
• 活性化関数、学習率、深さ、初期化を組み合わせた最良のアーキテクチャ構成を同定すること。

提案手法

• MNISTデータセット（60,000枚のトレーニング画像、10,000枚の検証画像）を用い、Sigmoid、ReLU、Leaky ReLU、ELU、SELUの5つの活性化関数の実験的評価。
• 固定されたトレーニング設定：100エポック、バッチサイズ50、学習率0.02、0.05、0.10、2層隠れ層のベースラインアーキテクチャ。
• 深さを2から8の隠れ層に変化させた体系的なアブレーションスタディを実施し、Glorot、ファンイン、ファンアウトの3つの重み初期化方針をテスト。
• 特に深層アーキテクチャにおいて過学習を軽減するために、エアリー・ストッピングを導入。
• 評価指標には、検証誤差、トレーニングおよび検証精度、全エポックにわたる学習曲線を含む。
• 最終検証精度と収束行動に基づいて、活性化関数を比較した。

実験結果

リサーチクエスチョン

• RQ1 同一のトレーニング条件下で、どの非線形活性化関数がMNISTデータセットで最も高い分類精度を達成するか？
• RQ2 隠れ層の数を増やすことで、モデルの性能と一般化性能にどのような影響があるか。特に過学習の関係において。
• RQ3 Glorot、ファンイン、ファンアウトの異なる重み初期化方針が、トレーニングの安定性と最終的なモデル精度に与える影響は何か？
• RQ4 エアリー・ストッピングは、より深いネットワークの検証精度を向上させることができるか。もしそうなら、どの程度向上するか？

主な発見

• ELUは、テストされたすべての活性化関数の中で最高の最終検証精度97.9%を達成し、ReLU、Leaky ReLU、SELU、Sigmoidを上回った。
• ELU活性化関数を用いた3層の隠れ層を持つより深いアーキテクチャは、2層ベースラインよりも優れた性能を示し、表現能力の向上を示した。
• Glorot/Xavier均一重み初期化方針は、ファンインおよびファンアウト初期化を常に上回り、最低の検証誤差と最高の精度を達成した。
• 8層までの深いアーキテクチャでは、エポック100における検証誤差が上昇し、過学習が顕著に現れたが、エアリー・ストッピングによりこれを軽減できた。
• 学習率0.02が収束性と精度のバランスを最も良く保ち、0.10はすべての活性化関数で不安定性を引き起こし、性能が悪化した。
• 最適なモデル構成（ELU活性化、学習率0.02、3層の隠れ層、Glorot初期化、エアリー・ストッピング）は、97.9%のテスト精度を達成し、優れた一般化性能を示した。