[論文レビュー] Growing Cosine Unit: A Novel Oscillatory Activation Function That Can Speedup Training and Reduce Parameters in Convolutional Neural Networks

Mathew Mithra Noel, L Arunkumar+2 more|arXiv (Cornell University)|Aug 30, 2021

Spectroscopy Techniques in Biomedical and Chemical Research参考文献 11被引用数 6

ひとこと要約

本稿では、$ C(z) = z \cdot \cos z $ として定義される新しい周期的活性化関数であるGrowing Cosine Unit (GCU)を紹介する。この関数は、周期的なゼロ点を活用することで、1つのニューロンが複数の意思決定境界をモデル化できることで、勾配の流れを向上させ、ネットワークのサイズを削減する。実験の結果、CIFAR-10、CIFAR-100、Imagenetteにおいて、ReLU、Swish、Mish、Sigmoidを上回る精度と収束速度を示し、1つのニューロンでXOR問題を解くことに成功した。

ABSTRACT

Convolutional neural networks have been successful in solving many socially important and economically significant problems. This ability to learn complex high-dimensional functions hierarchically can be attributed to the use of nonlinear activation functions. A key discovery that made training deep networks feasible was the adoption of the Rectified Linear Unit (ReLU) activation function to alleviate the vanishing gradient problem caused by using saturating activation functions. Since then, many improved variants of the ReLU activation have been proposed. However, a majority of activation functions used today are non-oscillatory and monotonically increasing due to their biological plausibility. This paper demonstrates that oscillatory activation functions can improve gradient flow and reduce network size. Two theorems on limits of non-oscillatory activation functions are presented. A new oscillatory activation function called Growing Cosine Unit(GCU) defined as $C(z) = z\cos z$ that outperforms Sigmoids, Swish, Mish and ReLU on a variety of architectures and benchmarks is presented. The GCU activation has multiple zeros enabling single GCU neurons to have multiple hyperplanes in the decision boundary. This allows single GCU neurons to learn the XOR function without feature engineering. Experimental results indicate that replacing the activation function in the convolution layers with the GCU activation function significantly improves performance on CIFAR-10, CIFAR-100 and Imagenette.

研究の動機と目的

• 周期的活性化関数が深層CNNにおける勾配の流れを改善し、ネットワークの複雑さを低減できるかどうかを調査すること。
• ReLUのような非周期的・単調な活性化関数が直面するニューロン死と意思決定境界の表現力の制限を解決すること。
• 特徴工学や多層構造を必要とせず、1つのニューロンでXORのような複雑なタスクを解ける新しい活性化関数を提案すること。
• 精度、収束速度、パラメータ効率の観点から、GCUが既存の活性化関数を上回ることを実験的に検証すること。

提案手法

• 周期的かつ非単調な活性化関数として、$ C(z) = z \cdot \cos z $ で定義されるGrowing Cosine Unit (GCU)を提案する。
• 理論的分析により、非周期的活性化関数は複雑な意思決定境界をモデル化する能力に制限を受けることが示され、周期的関数の導入が有効であると示唆される。
• $ C(z) $ の複数のゼロ点を活用し、1つのニューロンの意思決定境界に無限に多くの平行なハイパーフレームを生成する。
• 標準的なアーキテクチャを用いて、CIFAR-10、CIFAR-100、ImagenetteベンチマークでGCUを畳み込み層に適用し、CNNを学習・評価する。
• 訓練エポックにわたる勾配のRMS値を用いて、勾配の流れの安定性を分析する。
• 公平な比較を確保するため、コンactなCNNアーキテクチャを用いる。

実験結果

リサーチクエスチョン

• RQ1 GCUのような周期的活性化関数は、CNNにおける勾配の流れを改善し、パラメータ数を削減できるか？
• RQ2 1つのGCUニューロンは、複数のニューロンや複雑なアーキテクチャを必要とせずにXOR問題を解けるか？
• RQ3 GCUは、ReLU、Leaky ReLU、Swish、Mishと比較して、学習速度とテスト精度の面で優れているか？
• RQ4 GCUの周期的性質により、ReLUベースの関数と比較してより安定した勾配ダイナミクスが得られるか？
• RQ5 非周期的活性化関数は、複雑な意思決定境界をモデル化する上で、理論的にどのような制限を受けるか？

主な発見

• GCUは、CIFAR-10、CIFAR-100、Imagenetteにおいて、テスト精度と収束速度の両面でReLU、Swish、Mish、Sigmoidを顕著に上回った。
• GCUは、1つのニューロンでXOR問題を解くことができたが、従来の活性化関数では少なくとも3つのニューロンが必要であった。
• GCUのRMS勾配値は0〜20の範囲で安定しており、ReLUやLeaky ReLUと比較して著しく小さな振動を示した。一方、ReLUやLeaky ReLUは0〜40の範囲で激しいフラクチュエーションを示した。
• GCUは、大半の区間でゼロでないため、ニューロン死の問題を回避する。微分係数がゼロになるのは孤立した点に限る。
• GCUの周期的性質により、1つのニューロンで複数の意思決定ハイパーフレームを生成でき、パラメータ数を少なくしてより複雑な関数近似が可能になった。
• 理論的分析により、非周期的活性化関数は、複雑な非線形意思決定境界をモデル化する能力に根本的に制限を受けることが確認された。