[논문 리뷰] Adaptive Blending Units: Trainable Activation Functions for Deep Neural Networks

Leon René Sütfeld, Flemming Brieger외 3명|arXiv (Cornell University)|2018. 06. 26.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 훈련 중에 최적의 활성화 함수 형태와 스케일을 학습할 수 있도록 허용하는, 다수의 활성화 함수의 학습 가능한 선형 조합인 적응형 블렌딩 유닛(ABUs)을 소개한다. ABUs는 형태와 스케일을 시간에 따라 적응함으로써 표준 활성화 함수를 크게 능가하며, 성능 향상의 주요 원인은 고정된 최적 형태로 수렴하는 것이 아니라 동적 적응에 기인한다.

ABSTRACT

The most widely used activation functions in current deep feed-forward neural networks are rectified linear units (ReLU), and many alternatives have been successfully applied, as well. However, none of the alternatives have managed to consistently outperform the rest and there is no unified theory connecting properties of the task and network with properties of activation functions for most efficient training. A possible solution is to have the network learn its preferred activation functions. In this work, we introduce Adaptive Blending Units (ABUs), a trainable linear combination of a set of activation functions. Since ABUs learn the shape, as well as the overall scaling of the activation function, we also analyze the effects of adaptive scaling in common activation functions. We experimentally demonstrate advantages of both adaptive scaling and ABUs over common activation functions across a set of systematically varied network specifications. We further show that adaptive scaling works by mitigating covariate shifts during training, and that the observed advantages in performance of ABUs likewise rely largely on the activation function's ability to adapt over the course of training.

연구 동기 및 목표

• 딥 러닝에서 활성화 함수의 특성과 작업 및 네트워크 특성 간의 통합 이론이 부족한 문제를 해결하기 위해.
• 네트워크가 자체 활성화 함수를 학습할 수 있도록 허용하면 훈련 효율성과 성능 향상이 가능할지 조사하기 위해.
• 활성화 함수의 적응형 형태와 적응형 스케일의 영향을 분리 분석하기 위해.
• 기본 활성화 함수의 학습 가능한 조합인 ABUs가 고정 또는 수동으로 스케일 조정된 대안보다 우수한 성능을 내는지 평가하기 위해.
• 성능 향상의 원인이 훈련 시간 동안의 적응성에 기인하는지, 아니면 최종적으로 고정된 최적 형태로 수렴하는 데 기인하는지 확인하기 위해.

제안 방법

• 다양한 기본 활성화 함수(예: ReLU, ELU, tanh)의 학습 가능한 블렌딩 가중치를 갖는 적응형 블렌딩 유닛(ABUs)을 제안하며, 각 레이어별로 별도의 블렌딩 가중치를 갖는다.
• 표준 활성화 함수에 대해 레이어당 하나의 스케일링 파라미터를 학습함으로써 적응형 스케일링을 도입한다. 예를 들어, α·ReLU(x), α·ELU(x), 또는 α·tanh(x)와 같은 형태이다.
• 블렌딩 가중치를 정규화하여 형태 적응의 영향을 스케일링과 분리함으로써, 형태만의 적응을 분석할 수 있도록 한다.
• CIFAR-10에서 작은 완전 연결 네트워크(SMCN)를 대상으로 표준 훈련 프로토콜(Adam 옵timizer, He 초기화)을 적용하여 성능을 평가한다.
• 사전 훈련된 스케일링 및 블렌딩 가중치를 사용한 추론 실험을 수행하며, 고정 설정과 적응 설정을 비교함으로써 추론 성능에 미치는 영향을 분석한다.
• 훈련 중 전활성화 통계를 추적하여 코바리에이트 시프트를 완화하는지 분석함으로써 안정성과 성능 향상 간의 연관성을 규명한다.

실험 결과

연구 질문

• RQ1 훈련 중 활성화 함수의 형태와 스케일을 학습하면 고정된 활성화 함수에 비해 일관된 성능 향상이 이루어지는가?
• RQ2 ABUs가 가져다주는 성능 향상의 정도가 적응형 형태와 적응형 스케일 중 어느 쪽에 기인하는가?
• RQ3 적응형 스케일링만으로도 훈련 중 전활성화 통계를 안정화시키고 코바리에이트 시프트를 감소시킬 수 있는가?
• RQ4 ABUs의 성능 우월성이 고정된 최적 형태로 수렴하는 데 기인하는가, 아니면 훈련 도중 지속적인 적응이 핵심적인 역할을 하는가?
• RQ5 ABU 블렌딩 가중치에 대한 다양한 정규화 전략은 성능에 어떤 영향을 미치며, 이는 스케일링의 중요성에 대한 통찰을 제공하는가?

주요 결과

• ABUs는 CIFAR-10에서 다양한 네트워크 아키텍처와 하이퍼파라미터 설정에서 표준 활성화 함수를 일관되게 능가한다.
• 표준 활성화 함수의 적응형 스케일링(예: α·ReLU, α·ELU)은 전활성화 통계를 안정화시키고 코바리에이트 시프트를 감소시킴으로써 성능 향상에 기여한다.
• ABUs의 성능 향상은 고정된 최적 형태로 수렴하는 것보다 네트워크가 시간에 따라 활성화 함수의 형태를 적응할 수 있는 능력에 기인한다.
• 초기화 후 사전 훈련된 블렌딩 가중치를 고정하면 대부분의 ABU 변종에서 성능 저하가 발생함으로써, 지속적인 적응이 필수적임을 시사한다.
• 사전 훈련 후 블렌딩 가중치를 정규화하면 정규화되지 않은 사전 훈련보다 성능 향상이 이루어지지만, 기본 초기화 방식인 1/m 방식이 가장 우수한 성능을 보이며, 이는 비정규화된 ABUs가 더 효과적임을 시사한다.
• 유일한 예외는 ABU soft로, 고정된 사전 훈련된 블렌딩 가중치에서 약간의 성능 향상이 있었지만, 적응형 가중치에서는 성능 저하가 발생함으로써 초기화 및 정규화에 민감함을 보였다.