[논문 리뷰] Trainable Activation Function Supported CNN in Image Classification

Zhaohe Liao|arXiv (Cornell University)|2020. 04. 28.

Neural Networks and Applications인용 수 2

한 줄 요약

이 논문은 푸리에 급수와 선형 조합을 사용하여 CNN 내에서 학습 가능한 활성화 함수를 제안함으로써 연속적이고 적응 가능한 활성화 학습을 가능하게 한다. CIFAR-10에서의 실험 결과, Fourier-CNN와 LC-CNN가 ReLU를 초월하며, 자동에코더와 PSO 최적화를 사용할 경우 성능 향상이 더욱 두드러진다.

ABSTRACT

In the current research of neural networks, the activation function is manually specified by human and not able to change themselves during training. This paper focus on how to make the activation function trainable for deep neural networks. We use series and linear combination of different activation functions make activation functions continuously variable. Also, we test the performance of CNNs with Fourier series simulated activation(Fourier-CNN) and CNNs with linear combined activation function (LC-CNN) on Cifar-10 dataset. The result shows our trainable activation function reveals better performance than the most used ReLU activation function. Finally, we improves the performance of Fourier-CNN with Autoencoder, and test the performance of PSO algorithm in optimizing the parameters of networks

연구 동기 및 목표

• 딥 네ural 네트워크에서 고정된 수작업 설계된 활성화 함수의 한계를 해결한다.
• 연속적인 파arameterization을 통해 학습 중에 활성화 함수가 적응할 수 있도록 한다.
• CIFAR-10과 같은 벤치마크 데이터셋에서 이미지 분류 성능을 향상시킨다.
• 학습 가능한 활성화 네트워크의 최적화 전략으로서 자동에코더와 PSO를 조사한다.

제안 방법

• 연속적이고 미분 가능한 활성화 곡선을 모델링하기 위해 푸리에 급수를 사용하여 학습 가능한 활성화 함수를 구성한다.
• 기본 활성화 함수의 선형 조합을 구성하여 유연하고 학습 가능한 활성화 유닛을 만든다.
• 역전파 동안 학습 가능한 활성화 파arameter를 포함한 Fourier-CNN과 LC-CNN 아키텍처를 구현한다.
• 자기에코더를 사용하여 Fourier-CNN의 특징 표현을 사전 학습하고 정밀화함으로써 일반화 성능을 향상시킨다.
• 입자 군집 최적화(PSO)를 사용하여 학습 가능한 활성화 네트워크의 하이퍼파라미터를 조정한다.
• 표준 학습 프rotocol을 사용하여 CIFAR-10 데이터셋에서 모델을 학습하고 평가한다.

실험 결과

연구 질문

• RQ1 푸리에 급수를 통해 정의된 학습 가능한 활성화 함수가 이미지 분류 성능 향상에 기여하는가?
• RQ2 고정된 활성화 함수에 비해 활성화 함수의 선형 조합은 정확도와 수렴 속도 측면에서 어떻게 비교되는가?
• RQ3 자기에코더는 학습 가능한 활성화를 가진 Fourier-CNN의 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 PSO는 학습 가능한 활성화 함수를 가진 CNN의 파arameter를 효과적으로 최적화할 수 있는가?

주요 결과

• Fourier-CNN와 LC-CNN는 CIFAR-10 데이터셋에서 표준 ReLU 기반 CNN보다 높은 정확도를 달성한다.
• 자기에코더의 사용은 Fourier-CNN의 성능을 향상시키며, 사전 학습을 통한 더 나은 특징 학습을 시사한다.
• PSO 최적화는 모델 성능 향상에 기여하며, 학습 가능한 활성화 파arameter를 조정하는 데서의 효과성을 입증한다.
• 제안된 학습 가능한 활성화 함수는 학습 중에 연속적이고 미분 가능한 적응을 가능하게 하여 모델의 표현력을 향상시킨다.