[논문 리뷰] Shifting Mean Activation Towards Zero with Bipolar Activation Functions

Lars Hiller Eidnes, Arild Nøkland|arXiv (Cornell University)|2017. 09. 12.

Neural Networks and Applications참고 문헌 20인용 수 10

한 줄 요약

이 논문은 레이어 평균 활성치를 0에 수렴시키기 위해 뉴런 간에 부호 반전을 반복하는 ReLU 및 ELU의 확장형인 양극성 활성화 함수를 도입한다. 이는 배치 정규화 없이도 깊은 신경망에서 학습 안정성을 향상시킨다. 실험 결과, 깊은 RNN과 CNN에서 수렴 속도가 빨라지고 테스트 오차가 낮아졌으며, 게이트 없는 모델로 펜 트리뱅크와 텍스트8에서 최고 성능을 기록했고, 배치 정규화 없이 CIFAR-10 성능도 향상되었다.

ABSTRACT

We propose a simple extension to the ReLU-family of activation functions that allows them to shift the mean activation across a layer towards zero. Combined with proper weight initialization, this alleviates the need for normalization layers. We explore the training of deep vanilla recurrent neural networks (RNNs) with up to 144 layers, and show that bipolar activation functions help learning in this setting. On the Penn Treebank and Text8 language modeling tasks we obtain competitive results, improving on the best reported results for non-gated networks. In experiments with convolutional neural networks without batch normalization, we find that bipolar activations produce a faster drop in training error, and results in a lower test error on the CIFAR-10 classification task.

연구 동기 및 목표

• 깊은 신경망에서 비제로 평균 활성치 문제를 해결함으로써 학습 속도 저하와 기울기 소실/폭발 문제 악화를 완화하기 위함.
• 배치 정규화와 같은 정규화 레이어에 의존하지 않도록, 스스로 제로센터드 활성치를 유도하는 활성화 함수 설계를 통해 이를 제거하기 위함.
• 활성화 함수 수정을 통해 깊은 밸런스 없는 RNN과 전방향 신경망의 학습 역학 및 수렴 속도를 향상시키기 위함.
• 양극성 활성화 함수가 게이트 메커니즘(예: LSTM)이 없는 상황에서도 언어 모델링 및 이미지 분류 과제에서 경쟁 가능한 성능을 달성할 수 있는지 평가하기 위함.

제안 방법

• 짝수 인덱스 뉴런에 대해 f(x)를, 홀수 인덱스 뉴런에 대해 -f(-x)를 적용함으로써 활성화 함수를 설계하여 평균 활성치가 0으로 수렴하도록 보장함.
• ReLU, Leaky ReLU, ELU 변형에 대해 각각 BReLU, BLeakyReLU, BELU를 적용함.
• 레이어 순차적 유닛 분산(LSUV) 초기화를 사용하여 레이어 간 활성치의 분산을 일정하게 유지함.
• 깊은 RNN에서의 학습 안정성을 향상시키기 위해 잔차 연결, 가중치 공유, 드롭아웃을 활용함.
• Penn Treebank 및 Text8에서 문자 수준 언어 모델링을 수행하고, CIFAR-10에서는 컨볼루션 네트워크를 사용하여 배치 정규화를 제거한 채로 모델을 훈련함.
• 학습률 스케줄링과 데이터 증강을 통해 배치 정규화 없이도 CNN의 학습 안정성을 확보함.

실험 결과

연구 질문

• RQ1 배치 정규화 없이도 양극성 활성화 함수가 깊은 신경망에서 평균 활성치 이탈을 줄일 수 있는가?
• RQ2 양극성 활성화 함수를 사용할 경우 깊은 밸런스 없는 RNN에서 학습 안정성과 수렴 속도가 향상되는가?
• RQ3 양극성 활성화 함수를 사용할 경우 게이트 메커니즘(예: LSTM)이 없는 상황에서도 언어 모델링 과제에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 양극성 활성화 함수를 사용할 경우 배치 정규화 없이도 CNN에서 더 높은 학습률과 더 빠른 오차 감소를 달성할 수 있는가?
• RQ5 양극성 활성화 함수와 LSUV 초기화의 조합이 깊은 신경망에서 명시적 정규화 레이어를 대체하는 데 충분한가?

주요 결과

• Penn Treebank 및 Text8 데이터셋에서 36층의 BELU-RNN은 테스트 오차 1.423 BPC를 기록하여, 게이트 없는 네트워크 중 기록된 바 가장 우수한 결과(1.48 BPC, Skipping-RNN)를 초월함.
• BELU-RNN 모델은 Text8에서 테스트 오차 측면에서 LSTM 및 MI-LSTM 등의 게이트 모델을 뛰어넘는 경쟁성 있는 성능을 기록함.
• CIFAR-10에서 BReLU를 적용한 오리엔티드 리스ポン스 네트워크는 테스트 오차를 ReLU 기반의 9.20%에서 4.91%로 감소시켰고, 와이드 리스넷은 9.78%에서 6.03%로 감소함.
• 양극성 활성화 함수를 적용한 네트워크는 표준 ReLU 대비 최대 64배 높은 학습률을 사용할 수 있었으며, 이는 학습 안정성 향상을 시사함.
• 양극성 활성화 함수를 사용할 경우 학습 오차 감소 속도가 더 빠르며, ORN 및 WRN 아키텍처에서 표준 ReLU나 ELU 대비 최종 테스트 오차가 일관되게 낮음.
• 결과적으로, 양극성 활성화 함수와 LSUV 초기화의 조합이 배치 정규화를 대체할 수 있으며, 더 빠른 수렴과 더 나은 일반화 성능을 가능하게 함을 입증함.