[論文レビュー] Activation Functions: Comparison of trends in Practice and Research for Deep Learning

Chigozie Nwankpa, Winifred Ijomah+2 more|arXiv (Cornell University)|Nov 8, 2018

Advanced Neural Network Applications参考文献 42被引用数 1,168

ひとこと要約

この論文は深層学習で用いられる活性化関数（AF）を調査し、既存のAFを整理・統合するとともに、実務の適用傾向と文献結果を対比して、応用における関数選択を支援する。

ABSTRACT

Deep neural networks have been successfully used in diverse emerging domains to solve real world complex problems with may more deep learning(DL) architectures, being developed to date. To achieve these state-of-the-art performances, the DL architectures use activation functions (AFs), to perform diverse computations between the hidden layers and the output layers of any given DL architecture. This paper presents a survey on the existing AFs used in deep learning applications and highlights the recent trends in the use of the activation functions for deep learning applications. The novelty of this paper is that it compiles majority of the AFs used in DL and outlines the current trends in the applications and usage of these functions in practical deep learning deployments against the state-of-the-art research results. This compilation will aid in making effective decisions in the choice of the most suitable and appropriate activation function for any given application, ready for deployment. This paper is timely because most research papers on AF highlights similar works and results while this paper will be the first, to compile the trends in AF applications in practice against the research results from literature, found in deep learning research to date.

研究の動機と目的

• 深層学習で用いられる活性化関数とその歴史的進化を要約する。
• 多様な深層学習アプリケーションにおけるAFの実践的適用の傾向を強調する。
• デプロイ決定のために、AFの種類と報告された利点と制約をまとめた参照を提供する。

提案手法

• 活性化関数をカテゴリとバリエーションに整理し、AFファミリー全体の定義と公式を詳述する。
• 文献結果をレビューし、深層アーキテクチャにおけるAFの実践的適用傾向を指摘する。
• 特定のタスクの選択を導くため、AFの性能属性と訓練挙動を比較する。

実験結果

リサーチクエスチョン

• RQ1 実践と研究で一般的に使用されている活性化関数は何か。
• RQ2 領域横断でのAF使用に関する実践と研究の間で観察される傾向や差異は何か。
• RQ3 集約された証拠に基づく特定のアプリケーションのための活性化関数選択の指針は何か。

主な発見

• 本論文は、Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、RReLU、SReLU、Softplus、ELU、PELU、SELU、Maxout、Swish、ELiSH、および HardELiSH を含む活性化関数と変種の総合的な一覧をまとめている。
• 各AFの利点と欠点を、訓練速度、勾配挙動、ゼロ中心化効果などの観点で論じ、デプロイ決定を inform する。
• 実践的なAFの使用と報告された研究結果とのギャップを強調し、選択をデプロイメント文脈に合わせることを目指している。
• SwishやELiSHのような新しいAFが、情報の流れや訓練ダイナミクスの面でReLUのような従来の関数とどのように比較されるかを強調している。
• 本論文は、AF選択を物体認識、音声、NLP など多様なタスクにおける性能と一般化の重要な要因として位置づけている。