[논문 리뷰] Activation Ensembles for Deep Neural Networks

Mark E. Harmon, Diego Klabjan|arXiv (Cornell University)|2017. 02. 24.

Machine Learning and Data Classification참고 문헌 18인용 수 14

한 줄 요약

이 논문은 각 뉴런에서 가중치(α)와 적응형 오프셋(η, δ)를 통해 다수의 활성화 함수를 동적으로 조합하는 새로운 방법인 활성화 앙상블을 소개한다. 이는 깊은 신경망이 각 레이어에서 최적의 활성화 조합을 선택할 수 있도록 하여, MNIST, ISOLET, CIFAR-100, STL-10에서 성능을 향상시키며, 학습된 α 값을 통해 활성화 함수의 동역학에 대한 깊이 있는 통찰을 제공한다.

ABSTRACT

Many activation functions have been proposed in the past, but selecting an adequate one requires trial and error. We propose a new methodology of designing activation functions within a neural network at each layer. We call this technique an "activation ensemble" because it allows the use of multiple activation functions at each layer. This is done by introducing additional variables, $α$, at each activation layer of a network to allow for multiple activation functions to be active at each neuron. By design, activations with larger $α$ values at a neuron is equivalent to having the largest magnitude. Hence, those higher magnitude activations are "chosen" by the network. We implement the activation ensembles on a variety of datasets using an array of Feed Forward and Convolutional Neural Networks. By using the activation ensemble, we achieve superior results compared to traditional techniques. In addition, because of the flexibility of this methodology, we more deeply explore activation functions and the features that they capture.

연구 동기 및 목표

• 기존에 시행착오 방식으로 이루어지는 깊은 신경망 내 최적의 활성화 함수 선택 문제를 해결하기 위해.
• 고정된 활성화 함수를 전역적으로 사용하는 대신, 각 뉴런에서 데이터 기반으로 동적으로 활성화 함수를 선택할 수 있도록 하기 위해.
• 다양한 검증된 활성화 함수의 장점을 볼륨 조합을 통해 조합함으로써 모델 정확도 향상과 특징 학습 향상을 위해.
• 학습된 α 파라미터를 활용해 네트워크 깊이, 아키텍처 유형, 데이터셋에 따라 활성화 함수 선택 방식의 변화를 탐색하기 위해.
• 피드포워드, 컨volutional, 리스크리드, 오토에인코더 네트워크를 포함한 다양한 아키텍처에서 활성화 앙상블의 효과를 입증하기 위해.

제안 방법

• 각 뉴런에서 각 활성화 함수에 대해 학습 가능한 파라미터 α를 도입하여 다수의 활성화 함수를 볼륨 조합으로 조합한다.
• 각 활성화 함수의 정규화 범위를 동적으로 조정하기 위해 오프셋 파라미터 η와 δ를 활용하며, 함수의 기능적 특성을 유지한다.
• 학습 중 표준 백프로파게이션을 통해 α, η, δ를 최적화함으로써 네트워크가 최적의 활성화 혼합을 학습하도록 한다.
• 안정성과 해석 가능성을 유지하기 위해 α 값을 유효한 볼륨 조합 공간으로 투영하기 위한 새로운 투영 알고리즘을 도입한다.
• 피드포워드 네트워크, CNN, 리스크리드 네트워크, 오토에인코더에 활성화 앙상블을 적용하며, 대칭성을 강제하기 위해 오토에인코더에서는 가중치를 묶는다.
• MNIST, ISOLET, CIFAR-100, STL-10 데이터셋에서 평가 지표로 평균 제곱 오차와 분류 정확도를 사용한다.

실험 결과

연구 질문

• RQ1 각 뉴런에서 다수의 활성화 함수를 동적으로 조합할 경우, 다양한 데이터셋과 아키텍처에서 딥러닝 성능에 어떤 영향을 미치는가?
• RQ2 네트워크가 고정된 활성화 함수가 아닌, 각 레이어와 뉴런에서 최적의 활성화 함수 조합을 학습하여 선택할 수 있는가?
• RQ3 학습된 α 값은 네트워크 깊이, 아키텍처 유형, 데이터셋에 따라 어떻게 변화하는가? 이는 활성화 함수 선호도에 대한 통찰을 제공한다.
• RQ4 특히 리스크리드 네트워크에서 어려운 벤치마크인 CIFAR-100에서 활성화 앙상블 방법이 성능 향상에 기여하는가?
• RQ5 다양한 활성화 함수 조합(예: ReLU 변형, 시그모이드, 하이퍼볼릭 tangent)은 성능에 얼마나 기여하는가? 이 기여도는 데이터셋에 따라 어떻게 달라지는가?

주요 결과

• 활성화 앙상블 방법은 표준 활성화 함수보다 MNIST, ISOLET, CIFAR-100에서 뛰어난 분류 정확도를 달성한다.
• CIFAR-100에서 리스크리드 네트워크 내에서 활성화 앙상블이 성능 향상을 이끌었으며, 특히 리스크리드 블록의 중간에 앙상블을 배치했을 때 최고의 성능를 기록했다.
• 학습된 α 값은 다양한 활성화 함수가 다른 레이어에서 최적임을 드러냈다: MNIST에서는 상단 레이어에서 ReLU가 지배적이었고, 하단 레이어에서는 tanh와 역절대값 함수가 선호되었다.
• ISOLET에서는 초기 레이어에서 특정 활성화 함수가 우세하지 않았지만, 최종 레이어에서는 tanh가 선택되어 데이터셋 기반 적응을 보였다.
• 리스크리드 네트워크에서는 두 번째 유형의 ReLU 변형(다른 절편을 가짐)이 가장 우수한 성능를 보였으며, 이는 ReLU가 리스크리드 연결에서 수행하는 역할과 일치했다.
• STL-10에 대한 오토에인코더에서는 절대값 유사 함수를 포함한 앙상블과 함께 가중치 묶음을 적용하여 효과적인 재구성 성능를 달성했으며, 이는 분류 작업을 넘어서 일반화 능력을 보여주었다.