[논문 리뷰] Trainable Activation Function in Image Classification

Zhaohe Liao|arXiv (Cornell University)|2020. 04. 28.

Neural Networks and Applications참고 문헌 4인용 수 5

한 줄 요약

이 논문은 푸리에 급수와 표준 활성화 함수의 선형 조합을 사용하여 CNN 내에서 학습 가능한 활성화 함수를 제안하며, 엔드 투 엔드 최적화를 가능하게 한다. CIFAR-10에서의 실험 결과, 푸리에-CNN은 작은 네트워크에서 ReLU를 능가했고, LC-CNN은 큰 네트워크에서 뛰어난 성능을 보였으며, 오토에코더 미리학습이 수렴 속도를 가속화하고 정확도를 향상시켰다.

ABSTRACT

In the current research of neural networks, the activation function is manually specified by human and not able to change themselves during training. This paper focus on how to make the activation function trainable for deep neural networks. We use series and linear combination of different activation functions make activation functions continuously variable. Also, we test the performance of CNNs with Fourier series simulated activation(Fourier-CNN) and CNNs with linear combined activation function (LC-CNN) on Cifar-10 dataset. The result shows our trainable activation function reveals better performance than the most used ReLU activation function. Finally, we improves the performance of Fourier-CNN with Autoencoder, and test the performance of PSO algorithm in optimizing the parameters of networks

연구 동기 및 목표

• 딥 네ural 네트워크에서 고정된, 인간이 설계한 활성화 함수의 한계를 해결하기 위해.
• 활성화 함수가 사전 정의된 것이 아니라 데이터로부터 학습될 수 있는지 조사하기 위해.
• 이미지 분류에서 일반화 능력과 성능을 향상시키는 학습 가능한 활성화 함수를 개발하기 위해.
• 오토에코더 미리학습과 PSO 최적화 방법이 학습 가능한 활성화 함수를 갖는 네트워크의 학습에 미치는 영향을 평가하기 위해.

제안 방법

• 연속적이고 파arameterized된 활성화 함수를 표현하기 위해 푸리에 급수 전개를 사용하여 학습 가능한 활성화 함수를 구축하기.
• 학습 가능한 가중치를 갖는 표준 활성화 함수들(예: ReLU, Sigmoid)의 선형 조합을 사용하여 학습 가능한 활성화 함수를 구성하기.
• 고정된 학습률 스케줄과 교차 엔트로피 손실을 사용하여 결과 네트워크를 훈련하기.
• 네트워크 가중치를 초기화하고 수렴 속도 및 최종 정확도를 향상시키기 위해 오토에코더 미리학습을 적용하기.
• 입자군집최적화(PSO)를 사용하여 네트워크 파라미터를 훈련하기. 적합도는 교차 엔트로피 손실의 역수로 정의하기.
• 전역 최적 및 국소 최적을 추적하는 표준 PSO 식을 사용하여 입자 위치와 속도를 갱신하기.

실험 결과

연구 질문

• RQ1 학습 가능한 활성화 함수는 ReLU와 같은 고정된 활성화 함수보다 이미지 분류 성능을 향상시킬 수 있는가?
• RQ2 활성화 함수를 푸리에 급수로 표현하는 것이 CNN에서 더 나은 일반화 및 성능을 이끌 수 있는가?
• RQ3 다양한 네트워크 크기에서 활성화 함수의 선형 조합과 푸리에 급수 간의 성능 비교는 어떠한가?
• RQ4 오토에코더 미리학습은 학습 가능한 활성화 함수를 갖는 네트워크의 학습 역학과 최종 정확도를 향상시킬 수 있는가?
• RQ5 학습 가능한 활성화 함수를 갖는 네트워크 최적화에서 PSO가 백프로파게이션보다 우수한가?

주요 결과

• 푸리에-CNN은 CIFAR-10 분류 작업에서 작은 크기의 네트워크에서 ReLU보다 뛰어난 성능을 달성했다.
• LC-CNN은 큰 크기의 네트워크에서 ReLU와 푸리에-CNN을 모두 능가했으며, 이는 네트워크 크기에 따라 최적의 활성화 설계가 달라질 수 있음을 시사한다.
• 오토에코더 미리학습은 학습 안정성과 수렴 속도를 크게 향상시켰으며, 검증 정확도가 더 높은 초기 값에서 시작되었다.
• 미리학습된 네트워크는 비미리학습된 대비 더 일관되게 높은 최종 정확도 수준에 도달했다.
• PSO 최적화는 RMSProp 기반 백프로파게이션의 약 절반 수준의 정확도를 달성하여, 주어진 군집 크기와 갱신 빈도에서 PSO는 이 작업에 있어 덜 효과적임을 시사한다.
• 학습 가능한 활성화 함수는 성능을 떨어뜨리지 않았으며, 적절히 훈련될 경우 모델 표현력 향상 잠재력을 보였다.