[論文レビュー] Activation Functions in Artificial Neural Networks: A Systematic Overview

Johannes Lederer|arXiv (Cornell University)|Jan 25, 2021

Neural Networks and Applications参考文献 32被引用数 44

ひとこと要約

この論文は、一般的な活性化関数の総合的で分析的な調査を提供し、それらの数学的特性（1階および2階導関数を含む）、およびニューラルネットワークにおける表現力と最適化への実践的影響を扱う。

ABSTRACT

Activation functions shape the outputs of artificial neurons and, therefore, are integral parts of neural networks in general and deep learning in particular. Some activation functions, such as logistic and relu, have been used for many decades. But with deep learning becoming a mainstream research topic, new activation functions have mushroomed, leading to confusion in both theory and practice. This paper provides an analytic yet up-to-date overview of popular activation functions and their properties, which makes it a timely resource for anyone who studies or applies neural networks.

研究の動機と目的

• 活発なオプションの普及を踏まえ、活性化関数の体系的で客観的な概要の必要性を動機づける。
• 一般的な活性化関数の数学的性質（導関数や曲率を含む）を要約する。
• ネットワークの表現力、最適化コスト、および理論的分析への実践的影響を論じる。
• activation の選択が学習ダイナミクスに与える影響について、理論家と実践者への指針を提供する。

提案手法

• 活性化関数とその導関数（1階および2階）および方向微分を定義する。
• シグモイド型活性化関数（ロジスティック、arctan、tanh、softsign）を分類し、その性質を分析する。
• 活性化導関数が最適化アルゴリズム（例：SGD）および計算コストへ与える影響を論じる。
• 活性化の選択がネットワークの表現力（線形対非線形ネットなど）および理論的考察にどのように影響するかを説明する。

実験結果

リサーチクエスチョン

• RQ1 一般的な活性化関数とその主要な数学的特性は何か。
• RQ2 活性化関数とその導関数はニューラルネットワークの表現力と最適化にどう影響するか。
• RQ3 さまざまな活性化の選択がトレーニングダイナミクスと理論にどんな実践的影響をもたらすか。
• RQ4 線形活性化はネットワークが関数を近似する能力にどのように影響するか。
• RQ5 深層学習における活性化関数の選択に対して実務家にどんな指針を示せるか。

主な発見

• 活性化関数はネットワークの出力を形作り、表現力と最適化の複雑さの両方に影響を与える。
• 活性化関数の1階および2階導関数は勾配ベースの最適化および理論的分析に影響を与える。
• 線形活性化ネットワークは必然的に線形であり、非線形なターゲット関数を近似できないことを示し、表現力における非線性の役割を強調する。
• シグモイド型活性化（ロジスティック、arctan、tanh、softsign）は、ハードスレッショルドの滑らかな代替を提供し、出力範囲の違いに主に現れる。
• ロジスティック活性化はバイナリステップの滑らかな近似として機能し、すべての導関数が滑らかで定義されている。
• 本研究はヒューリスティックな理由よりも、活性化関数の客観的で数学的な評価を強調し、証明と付録が厳密な裏付けを提供する。