[論文レビュー] Three Decades of Activations: A Comprehensive Survey of 400 Activation Functions for Neural Networks

Vladimír Kunc, Jǐŕı Kléma|arXiv (Cornell University)|Feb 14, 2024

Neural Networks and Applications被引用数 14

ひとこと要約

ニューラルネットワークに用いられる400個の活性化関数を、3つの年代にわたり網羅・議論する包括的な調査。

ABSTRACT

Neural networks have proven to be a highly effective tool for solving complex problems in many areas of life. Recently, their importance and practical usability have further been reinforced with the advent of deep learning. One of the important conditions for the success of neural networks is the choice of an appropriate activation function introducing non-linearity into the model. Many types of these functions have been proposed in the literature in the past, but there is no single comprehensive source containing their exhaustive overview. The absence of this overview, even in our experience, leads to redundancy and the unintentional rediscovery of already existing activation functions. To bridge this gap, our paper presents an extensive survey involving 400 activation functions, which is several times larger in scale than previous surveys. Our comprehensive compilation also references these surveys; however, its main goal is to provide the most comprehensive overview and systematization of previously published activation functions with links to their original sources. The secondary aim is to update the current understanding of this family of functions.

研究の動機と目的

• ニューラルネットワークにおける活性化関数の広大な領域をカタログ化し分析する必要性を喚起する。
• 特定のタスクに適した活性化関数を選択する際に研究者を支援する、構造化された分類法と比較概観を提供する。
• 3十年にわたる活性化関数研究の歴史的発展、傾向、およびギャップを強調する。

提案手法

• 文献を背景に、400個の活性化関数の広範なカタログを作成する。
• 数理的性質、挙動、および実務的考慮事項に基づいて関数を分類する。
• 各関数の核となる特性、利点、制限、および典型的な使用例を要約する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークで用いられる活性化関数を定義する広範なカテゴリと性質は何か？
• RQ2 過去三十年間で活性化関数はどのように進化し、採用と性能にどんな傾向が現れるか？
• RQ3 異なるネットワークアーキテクチャとタスクに対して活性化関数を選択する際、実務家への指針は何か？
• RQ4 活性化関数研究にはどのようなギャップや未解決の問題が残っているか？

主な発見

• 本論文は400個の活性化関数を整理・統合し、研究者への統合参照を提供する。
• さまざまなニューラルネットワークの状況における関数選択を容易にする分類法と比較的視点を提供する。
• 本調査は、活性化関数の選択に影響を与える歴史的トレンドと実務上の考慮事項を強調する。
• 文献の潜在的なギャップと活性化関数設計の今後の探求機会を特定する。