[논문 리뷰] Growing Cosine Unit: A Novel Oscillatory Activation Function That Can Speedup Training and Reduce Parameters in Convolutional Neural Networks

Mathew Mithra Noel, L Arunkumar외 2명|arXiv (Cornell University)|2021. 08. 30.

Spectroscopy Techniques in Biomedical and Chemical Research참고 문헌 11인용 수 6

한 줄 요약

이 논문은 $ C(z) = z \cdot \cos z $로 정의된 새로운 진동형 활성화 함수인 Growing Cosine Unit (GCU)를 소개한다. 이는 주기적인 영점 덕분에 단일 뉴런이 다수의 결정 경계를 모델링할 수 있도록 하여 기울기 흐름을 향상시키고 네트워크 크기를 줄인다. 실험 결과, GCU는 CIFAR-10, CIFAR-100, Imagenette에서 ReLU, Swish, Mish, Sigmoid보다 정확도와 수렴 속도 면에서 뛰어나며, 단일 뉴런으로 XOR 문제를 해결한다.

ABSTRACT

Convolutional neural networks have been successful in solving many socially important and economically significant problems. This ability to learn complex high-dimensional functions hierarchically can be attributed to the use of nonlinear activation functions. A key discovery that made training deep networks feasible was the adoption of the Rectified Linear Unit (ReLU) activation function to alleviate the vanishing gradient problem caused by using saturating activation functions. Since then, many improved variants of the ReLU activation have been proposed. However, a majority of activation functions used today are non-oscillatory and monotonically increasing due to their biological plausibility. This paper demonstrates that oscillatory activation functions can improve gradient flow and reduce network size. Two theorems on limits of non-oscillatory activation functions are presented. A new oscillatory activation function called Growing Cosine Unit(GCU) defined as $C(z) = z\cos z$ that outperforms Sigmoids, Swish, Mish and ReLU on a variety of architectures and benchmarks is presented. The GCU activation has multiple zeros enabling single GCU neurons to have multiple hyperplanes in the decision boundary. This allows single GCU neurons to learn the XOR function without feature engineering. Experimental results indicate that replacing the activation function in the convolution layers with the GCU activation function significantly improves performance on CIFAR-10, CIFAR-100 and Imagenette.

연구 동기 및 목표

• 진동형 활성화 함수가 깊이 있는 CNN에서 기울기 흐름을 향상시키고 네트워크 복잡성을 감소시킬 수 있는지 조사한다.
• ReLU와 같이 비진동형이고 단조형인 활성화 함수의 한계를 해결한다. 이러한 함수는 뉴런 사망 문제와 결정 경계 표현력의 제한을 겪는다.
• 단일 뉴런이 특성 공학이나 다중층 아키텍처 없이 XOR과 같은 복잡한 작업을 해결할 수 있도록 하는 새로운 활성화 함수를 제안한다.
• 정확도, 수렴 속도, 파라미터 효율성 측면에서 기존 활성화 함수와의 비교를 통해 GCU의 우수성을 경험적으로 검증한다.

제안 방법

• 진동형이고 비단조형인 활성화 함수인 $ C(z) = z \cdot \cos z $로 정의된 Growing Cosine Unit (GCU)를 제안한다.
• 이론적 분석을 통해 비진동형 활성화 함수는 복잡한 결정 경계를 모델링하는 데 한계가 있으며, 이에 따라 진동형 함수의 사용이 타당하다고 밝힌다.
• GCU의 다중 영점 특성을 활용해 단일 뉴런의 결정 경계에 무한히 많은 평행 초평면을 생성한다.
• 표준 아키텍처를 사용하여 CIFAR-10, CIFAR-100, Imagenette 벤치마크에서 합성곱 레이어에 GCU를 적용하고 CNN을 훈련 및 평가한다.
• 훈련 에포크 동안 기울기의 RMS 값을 사용하여 기울기 흐름의 안정성을 분석한다.
• 모든 활성화 함수 간의 공정한 비교를 위해 소형 CNN 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 GCU와 같은 진동형 활성화 함수는 CNN에서 기울기 흐름을 향상시키고 파라미터 수를 줄일 수 있는가?
• RQ2 단일 GCU 뉴런은 다수의 뉴런이나 복잡한 아키텍처 없이 XOR 문제를 해결할 수 있는가?
• RQ3 GCU 활성화 함수는 ReLU, Leaky ReLU, Swish, Mish와 비교해 훈련 속도와 테스트 정확도 측면에서 어떻게 다른가?
• RQ4 GCU의 진동 성질은 ReLU 기반 함수보다 더 안정적인 기울기 역전파 동역학을 이끌어내는가?
• RQ5 비진동형 활성화 함수는 복잡한 결정 경계를 모델링하는 데 있어 이론적으로 어떤 한계를 지니는가?

주요 결과

• GCU 활성화 함수는 CIFAR-10, CIFAR-100, Imagenette에서 정확도와 수렴 속도 측면에서 ReLU, Swish, Mish, Sigmoid를 뛰어넘는 성능을 보였다.
• GCU는 기존 활성화 함수가 최소 3개의 뉴런이 필요로 하는 XOR 문제를 단일 뉴런으로 해결할 수 있다.
• GCU의 RMS 기울기 값은 0에서 20 사이에서 안정적으로 유지되며, ReLU 및 Leaky ReLU와 비교해 훨씬 낮은 진동을 보였다. 반면 ReLU 및 Leaky ReLU는 0에서 40 사이의 광범위한 변동을 보였다.
• GCU 활성화 함수는 비영인 구간이 넓고, 고립된 점 외에는 항상 비영인 도함수를 가지므로 뉴런 사망 문제를 피할 수 있다.
• GCU의 진동 성질 덕분에 뉴런당 다수의 결정 초평면을 생성할 수 있어 더 적은 파라미터로도 더 복잡한 함수 근사를 가능하게 한다.
• 이론적 분석을 통해 비진동형 활성화 함수는 복잡한 비선형 결정 경계를 모델링하는 데 본질적으로 한계가 있음을 확인했다.