[論文レビュー] A survey on recently proposed activation functions for Deep Learning

Murilo Gustineli|arXiv (Cornell University)|Apr 6, 2022

Neural Networks and Applications被引用数 6

ひとこと要約

このサーベイは、深層学習における最近提案された活性化関数をレビューしており、特にXOR関数を学習できる単一のニューロンを実現する、NCU、SQU、DSU、SSUといった新しい周期的関数に焦点を当てる。生物学的起源のこれらの関数は、手動での特徴工学を必要とせず、訓練時間を短縮し、ニューロンの数を減らし、ベンチマークタスクにおける収束性を向上させる。

ABSTRACT

Artificial neural networks (ANN), typically referred to as neural networks, are a class of Machine Learning algorithms and have achieved widespread success, having been inspired by the biological structure of the human brain. Neural networks are inherently powerful due to their ability to learn complex function approximations from data. This generalization ability has been able to impact multidisciplinary areas involving image recognition, speech recognition, natural language processing, and others. Activation functions are a crucial sub-component of neural networks. They define the output of a node in the network given a set of inputs. This survey discusses the main concepts of activation functions in neural networks, including; a brief introduction to deep neural networks, a summary of what are activation functions and how they are used in neural networks, their most common properties, the different types of activation functions, some of the challenges, limitations, and alternative solutions faced by activation functions, concluding with the final remarks.

研究の動機と目的

• 従来の活性化関数の限界、例えば消失勾配問題やデッドニューロン問題を分析すること。
• 周期的活性化関数が、人工的および生物学的ニューラルネットワークのパフォーマンスギャップを克服する可能性を調査すること。
• 生物学的起源の周期的関数が、XOR分類のような複雑なタスクを、より少ないニューロンとより速い収束で解けるかどうかを評価すること。
• 標準的な活性化関数（例：ReLU、Swish、Mish）と比較して、新しい周期的関数のベンチマーク分類タスクにおけるパフォーマンスを評価すること。
• 周期的関数が深層ニューラルネットワークにおける計算および訓練効率に与える影響を調査すること。

提案手法

• 非単調な立方体ユニット（NCU）、シフトされた二次ユニット（SQU）、減衰正弦ユニット（DSU）、シフトされたシンクユニット（SSU）の4つの新しい周期的活性化関数を提案し、それぞれ独自の数学的定式化を持つ。
• 分類タスクにおけるパフォーマンスを評価するために、3〜4層の畳み込み層を備えたReLUベースのネットワークアーキテクチャを採用する。
• 確率的勾配降下法と交差エントロピー損失を用いた標準的なトレーニングプロトコルを採用し、収束速度と精度を比較する。
• 勾配消失問題の緩和能力を評価するために、活性化関数の導関数の挙動を分析する。
• 重み更新効率への影響を評価するために、新しい関数のゼロセンター化および有界性の性質を評価する。
• 同じハイパーパrameterを用いて、複数のデータセットおよびネットワークの深さにおいて、トレーニングダイナミクスと最終的な精度を比較する。

実験結果

リサーチクエスチョン

• RQ1 NCU、SQU、DSU、SSUといった周期的活性化関数は、外部の特徴工学を伴わずに、単一の人工ニューロンがXOR関数を学習可能か？
• RQ2 分類タスクにおけるトレーニング速度と収束性に関して、周期的活性化関数は標準的な活性化関数（例：ReLU、Swish、Mish）と比較してどのように異なるか？
• RQ3 周期的関数は、深層ネットワークにおける必要なニューロン数および層数をどの程度削減できるか？
• RQ4 周期的関数は、従来の活性化関数と比較して、少ないトレーニングエポック数で高い精度を維持できるか？
• RQ5 周期的活性化関数は、複雑な非線形分離可能な関数を学習する際、人工的および生物学的ニューラルネットワークのパフォーマンスギャップを縮小するのに寄与できるか？

主な発見

• 周期的活性化関数であるNCU、SQU、DSU、SSUは、単一のニューロンでXOR関数を学習可能であり、これは標準的な活性化関数を用いる場合、少なくとも3つのニューロンが必要となる。
• 周期的活性化関数を用いたネットワークは、3層の畳み込みネットワークにおいて20エポック以内に収束し、68％以上の精度を維持する。
• SQU活性化関数は、トレーニングエポック数を減らしても高い精度を維持しており、トレーニング効率の向上を示している。
• 周期的活性化関数は、分類タスクにおける同等のパフォーマンスを達成する際に、訓練時間を短縮し、必要なニューロン数を減らす点で、標準的な活性化関数を上回る。
• これらの関数は、入力範囲が広い範囲で大きな導関数値を示すため、勾配の流れが改善され、消失勾配問題が緩和される。
• 本研究では、周期的活性化関数が、人間の皮質ニューロンで観察される周期的挙動を模倣することで、人工的および生物学的ニューラルネットワークのパフォーマンスギャップを埋める可能性があると示唆している。