[논문 리뷰] On the Importance of Normalisation Layers in Deep Learning with Piecewise Linear Activation Units

Zhibin Liao, Gustavo Carneiro|arXiv (Cornell University)|2015. 08. 03.

Advanced Neural Network Applications참고 문헌 11인용 수 6

한 줄 요약

이 논문은 딥 피드포워드 네트워크에서 조각별 선형 활성화 함수(예: ReLU, PReLU, Maxout) 이전에 배치 정규화(BN) 레이어를 통합하여 활성화 영역 사용을 균형 있게 유지하는 것을 제안한다. 활성화 함수 영역 내 입력 분포를 안정화시킴으로써 BN은 선형 단위로의 열화를 방지하고 모델의 조건수를 향상시키며, CIFAR-10, CIFAR-100, MNIST 및 SVHN에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성한다. 각각 테스트 오차는 8.52% (±0.20%), 29.20% (±0.20%), 0.35% (±0.03%), 1.97% (±0.08%)를 기록한다.

ABSTRACT

Deep feedforward neural networks with piecewise linear activations are currently producing the state-of-the-art results in several public datasets. The combination of deep learning models and piecewise linear activation functions allows for the estimation of exponentially complex functions with the use of a large number of subnetworks specialized in the classification of similar input examples. During the training process, these subnetworks avoid overfitting with an implicit regularization scheme based on the fact that they must share their parameters with other subnetworks. Using this framework, we have made an empirical observation that can improve even more the performance of such models. We notice that these models assume a balanced initial distribution of data points with respect to the domain of the piecewise linear activation function. If that assumption is violated, then the piecewise linear activation units can degenerate into purely linear activation units, which can result in a significant reduction of their capacity to learn complex functions. Furthermore, as the number of model layers increases, this unbalanced initial distribution makes the model ill-conditioned. Therefore, we propose the introduction of batch normalisation units into deep feedforward neural networks with piecewise linear activations, which drives a more balanced use of these activation units, where each region of the activation function is trained with a relatively large proportion of training samples. Also, this batch normalisation promotes the pre-conditioning of very deep learning models. We show that by introducing maxout and batch normalisation units to the network in network model results in a model that produces classification results that are better than or comparable to the current state of the art in CIFAR-10, CIFAR-100, MNIST, and SVHN datasets.

연구 동기 및 목표

• 조각별 선형 활성화 함수 영역 간 입력 분포의 불균형 문제로 인한 모델 용량 저하를 해결하기 위해.
• 배치 정규화가 조각별 선형 활성화를 사용하는 딥 네트워크에서 학습 안정성과 성능 향상에 어떻게 기여하는지 탐구하기 위해.
• 균형 잡힌 활성화 영역 사용이 딥 아키텍처에서 일반화 및 모델 조건수를 향상시킨다는 것을 입증하기 위해.
• Maxout와 배치 정규화를 조합할 경우 기존 최신 기술 수준의 모델 대비 어떤 성능 향상을 보이는지 보여주기 위해.

제안 방법

• 조각별 선형 활성화 유닛 이전에 배치 정규화 레이어를 도입하여 입력을 정규화하고 활성화 함수 영역 간 균형 잡힌 분포를 확보하기 위해.
• 소형 배치 통계를 사용하여 활성화를 정규화함으로써 내부 공변수 이동을 줄이고 안정적인 학습을 촉진하기 위해.
• ReLU, PReLU 및 Maxout 유닛을 포함한 모델에 이 방법을 적용하고, 여러 딥 네트워크 아키텍처에서 평가하기 위해.
• 표준 최적화 설정(학습률 스케줄링, 모멘타임, 가중치 감쇠)을 사용하여 모델을 학습하고, 다섯 번의 랜덤 실행에 대한 평균 및 표준편차를 보고하기 위해.
• CIFAR-10, CIFAR-100, MNIST 및 SVHN에서 최신 기술 수준의 모델과 비교하여 제안된 MIM 모델(Maxout + 배치 정규화)의 성능을 평가하기 위해.
• 입력 분포 불균형이 모델 수렴 및 성능에 미치는 영향을 실증적으로 보여주기 위해 2차원 이진 분류 문제를 사용한 토이 실험을 수행하기 위해.

실험 결과

연구 질문

• RQ1 조각별 선형 활성화 함수 영역 간 입력 분포의 불균형이 딥 네트워크에서 모델 성능을 저하시키는가?
• RQ2 배치 정규화가 균형 잡힌 활성화 영역 사용을 복원하고 학습 수렴을 향상시킬 수 있는가?
• RQ3 Maxout와 배치 정규화의 조합이 표준 벤치마크에서 기존 최신 기술 수준의 모델과 비교해 어떻게 성능을 냅니다?
• RQ4 배치 정규화가 얼마나 깊은 네트워크를 조건화하여 더 높은 학습률과 더 나은 일반화를 가능하게 하는가?
• RQ5 왜 드롭아웃의 사용이 조각별 선형 활성화 유닛의 불균형 문제를 해결하지 못하는가?

주요 결과

• Maxout 유닛 이전에 배치 정규화를 도입함으로써 CIFAR-10에서 테스트 오차가 8.52% (±0.20%)로 감소하여 표 3에 나열된 모든 이전 방법들을 능가하였다.
• CIFAR-100에서는 MIM 모델이 테스트 오차 29.20% (±0.20%)를 기록하여 표 4에 비교된 모든 최신 기술 수준의 모델을 뛰어넘었다.
• MNIST에서는 다섯 번의 실행 평균으로 최고의 테스트 오차 0.35% (±0.03%)를 기록하여 문헌에 보고된 최고 성능과 동일했다.
• SVHN에서는 테스트 오차 1.97% (±0.08%)를 기록하여 현재 최고 성능인 1.77%보다 略로 떨어지지만 여전히 매우 경쟁력 있었다.
• 배치 정규화 없이 학습한 모델은 학습률이 임계값을 초과하면 수렴하지 못했으며, 이는 활성화 불균형으로 인한 나쁜 조건수 때문임을 시사했다.
• 토이 실험을 통해 배치 정규화 없이 학습할 경우 ReLU 및 Maxout 유닛이 부족하게 사용되어 일반화 성능이 열악하고 학습이 정체됨을 확인했다.