[論文レビュー] A Comprehensive Survey and Performance Analysis of Activation Functions in Deep Learning.

Shiv Ram Dubey, Satish Kumar Singh+1 more|arXiv (Cornell University)|Sep 29, 2021

Advanced Neural Network Applications参考文献 153被引用数 17

ひとこと要約

本論文は、多様なディープラーニングアーキテクチャおよびデータセットを対象として、18種類の最先端の活性化関数（AFs）の包括的サーベイと実験的性能分析を提示している。AFsは出力範囲、滑らかさ、単調性といった重要な特性に基づいて評価され、異なるタスクにおける挙動と適性に関する洞察が提供されており、再現可能性を考慮してコードが公開されている。

ABSTRACT

Neural networks have shown tremendous growth in recent years to solve numerous problems. Various types of neural networks have been introduced to deal with different types of problems. However, the main goal of any neural network is to transform the non-linearly separable input data into more linearly separable abstract features using a hierarchy of layers. These layers are combinations of linear and nonlinear functions. The most popular and common non-linearity layers are activation functions (AFs), such as Logistic Sigmoid, Tanh, ReLU, ELU, Swish and Mish. In this paper, a comprehensive overview and survey is presented for AFs in neural networks for deep learning. Different classes of AFs such as Logistic Sigmoid and Tanh based, ReLU based, ELU based, and Learning based are covered. Several characteristics of AFs such as output range, monotonicity, and smoothness are also pointed out. A performance comparison is also performed among 18 state-of-the-art AFs with different networks on different types of data. The insights of AFs are presented to benefit the researchers for doing further research and practitioners to select among different choices. The code used for experimental comparison is released at: \url{this https URL}.

研究の動機と目的

• ディープニューラルネットワークで用いられる主要な活性化関数クラスの体系的概要を提供すること。
• 出力範囲、単調性、滑らかさといった活性化関数の特性を分析すること。
• 複数のネットワークアーキテクチャおよびデータセットを対象として、18種類の最先端の活性化関数の実験的性能を比較すること。
• 問題固有の要件に基づいて最適な活性化関数の選定を研究者および実務家に支援すること。
• 活性化関数の性能に関する再現可能性およびさらなるベンチマークのためのコードを公開すること。

提案手法

• 活性化関数を4つの主要クラスに分類する：ロジスティックシグモイド／タンジェントに基づく、ReLUに基づく、ELUに基づく、学習ベースのAFs。
• ネットワーク挙動に与える影響を理解するために、出力範囲、単調性、滑らかさといった活性化関数の特性を体系的に分析する。
• 一般化性能および精度を評価するために、さまざまなディープラーニングモデルおよびデータセット上で18種類のSOTA活性化関数を実験的に評価する。
• 畳み込みニューラルネットワーク（CNNs）や多層パーセプトロン（MLPs）などの異なるネットワークタイプ、および画像や表形式データなどの異なるデータタイプ間での性能比較を通じて、頑健性および適応性を評価する。
• 公平で再現可能な比較を保証するため、標準化されたトレーニングプロトコルとメトリクスを用いる。
• 実験コードをオープンソース化し、コミュニティによる再利用および拡張を可能にする。

実験結果

リサーチクエスチョン

• RQ1 異なるクラスの活性化関数（例：ReLUベース、Swish、Mish）は、多様なディープラーニングタスクにおいてどのように性能を比較するか？
• RQ2 滑らかさ、出力範囲、単調性といった活性化関数の特性の中で、モデルの精度および収束に最も顕著な影響を与えるものは何か？
• RQ3 活性化関数は、異なるネットワークアーキテクチャおよびデータタイプ（例：画像対表形式データ）においてどのように性能を示すか？
• RQ4 手作業で設計された関数と比較して、学習ベースの活性化関数の相対的な長所と短所は何か？
• RQ5 性能、トレーニング安定性、計算効率のバランスを最適化するには、どの活性化関数が最も適しているか？

主な発見

• ReLUに基づく活性化関数、特にReLUおよびその変種は、計算効率とスパarsity誘導特性のおかげで、ほとんどのベンチマークで一貫して優れた性能を示した。
• SwishおよびMishは、滑らかさや非単調性が有利に働く特定のビジョンおよび自然言語処理（NLP）タスクで優れた性能を発揮した。
• ELUに基づく関数は、特に畳み込みアーキテクチャにおいて、より深いネットワークでの収束速度と精度の向上を示した。
• 学習ベースの活性化関数は柔軟性に優れているが、必ずしも手作業で設計された関数を上回るとは限らず、しばしばより多くのハイパーパrameterチューニングを要した。
• 活性化関数の選択はモデル性能に顕著な影響を与えることが判明し、あらゆるアーキテクチャおよびデータセットで最適なAFが1つ存在するわけではない。
• 滑らかさと出力範囲は、特に深いネットワークにおいて、トレーニング安定性および最終的な精度に大きな影響を与える重要な要因であることが判明した。