[論文レビュー] Biologically Inspired Oscillating Activation Functions Can Bridge the Performance Gap between Biological and Artificial Neurons

Matthew Mithra Noel, Shubham Bharadwaj+3 more|arXiv (Cornell University)|Nov 7, 2021

Neural Networks and Applications被引用数 5

ひとこと要約

本論文は、複数の意思決定ハイパーハイパーフラットを活用することで、個々の人工ニューロンがXOR関数を学習できる、4つの新しい生物学的インスピレーションを受けて設計された周期的活性化関数（SQU, NCU, SSU, DSU）を提案する。これらの非飽和関数は勾配の流れを改善し、学習を加速させ、CIFAR-10、CIFAR-100、ImageNetベンチマークにおいて、すべての標準的活性化関数を上回り、ネットワークの深さとパラメータ数を顕著に削減しながら、精度を向上させる。

ABSTRACT

The recent discovery of special human neocortical pyramidal neurons that can individually learn the XOR function highlights the significant performance gap between biological and artificial neurons. The output of these pyramidal neurons first increases to a maximum with input and then decreases. Artificial neurons with similar characteristics can be designed with oscillating activation functions. Oscillating activation functions have multiple zeros allowing single neurons to have multiple hyper-planes in their decision boundary. This enables even single neurons to learn the XOR function. This paper proposes four new oscillating activation functions inspired by human pyramidal neurons that can also individually learn the XOR function. Oscillating activation functions are non-saturating for all inputs unlike popular activation functions, leading to improved gradient flow and faster convergence. Using oscillating activation functions instead of popular monotonic or non-monotonic single-zero activation functions enables neural networks to train faster and solve classification problems with fewer layers. An extensive comparison of 23 activation functions on CIFAR 10, CIFAR 100, and Imagentte benchmarks is presented and the oscillating activation functions proposed in this paper are shown to outperform all known popular activation functions.

研究の動機と目的

• 人間の新皮質Pyramidalニューロンで観察される周期的活性化ダイナミクスを模倣することで、生物学的ニューロンと人工ニューロンの性能格差を埋める。
• 非飽和の活性化関数を設計し、複数のゼロ点を持つことで、マルチレイヤー構造を用いずに非線形分離不可能なタスク（例：XOR）を単一ニューロンが学習可能にする。
• 単調または単一ゼロ点を持つ活性化関数に代えて周期的関数を導入することで、勾配の流れと学習速度を向上させる。
• 周期的活性化関数が、より少ないレイヤー数とパラメータ数で、より高い精度を達成できる深層ネットワークを実現できることを示す。

提案手法

• 人間のPyramidalニューロンの周期的発火パターンを模倣した、4つの新しい周期的活性化関数（SQU, NCU, SSU, DSU）を提案する。
• 意思決定境界に複数のハイパーフラットを持つニューロンを実現するため、複数のゼロ点を持つ関数を設計し、単一ニューロンによるXOR学習を可能にする。
• 微分係数がほぼゼロになる領域を避けることで、非飽和動作を確保し、バックプロパゲーション中の勾配の流れを改善する。
• 標準化されたCNNアーキテクチャを用いて、CIFAR-10、CIFAR-100、ImageNetで23種類の活性化関数（ReLU、Swish、Mish、SiLUなど）を学習・評価する。
• ベンチマーク全体での平均順位を比較し、精度と深さの関係を追跡することで、表現効率を評価する。
• 経験的学習曲線とアブレーションスタディを用いて、周期的関数の収束速度の向上と優れた一般化性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 周期的活性化関数を備えた人工ニューロンは、生物学的Pyramidalニューロンを模倣するように、個別にXOR関数を学習できるか？
• RQ2 ReLU や Swish といった標準的非飽和関数と比較して、周期的活性化関数は勾配の流れを改善し、学習を加速させるか？
• RQ3 周期的活性化関数を用いたネットワークは、標準的活性化関数を用いたものと比較して、より少ないレイヤー数とパラメータ数で、より高い精度を達成できるか？
• RQ4 周期的活性化関数は、CIFAR-10、CIFAR-100、ImageNetといった標準的な画像分類ベンチマークで、既知の代表的な活性化関数をすべて上回る性能を発揮するか？
• RQ5 周期的活性化関数は、個々のニューロンの表現力の向上により、深層アーキテクチャの必要性をどの程度低減できるか？

主な発見

• 提案された周期的活性化関数（SQU, NCU, SSU, DSU）は、標準的なReLUやシグモイド的ニューロンでは不可能なXOR関数の学習を、個々のニューロンが実現可能である。
• CIFAR-10ベンチマークでは、SQUが平均順位1.000を達成し、他のすべての活性化関数を上回った。
• CIFAR-100では、GCUとNCUが平均順位1.000および2.667を記録し、上位2位を占めた。
• ImageNetでは、GCUとDSUが平均順位1.000および3.000を達成し、第1位と第2位にランクされた。これは優れた一般化性能を示している。
• 周期的活性化関数を用いたネットワークは、より少ないレイヤー数で、より高速に学習が進み、高い精度を達成しており、表現効率の向上が示された。
• すべてのベンチマークでReLU、Swish、Mish、SELUを著しく上回り、SQUとGCUは全データセットで常に上位3位以内にランクされた。