[논문 리뷰] Self-Normalizing Neural Networks

Günter Klambauer, Thomas Unterthiner외 2명|arXiv (Cornell University)|2017. 06. 08.

Machine Learning in Materials Science인용 수 515

한 줄 요약

이 논문은 Self-Normalizing Neural Networks(SNNs)를 확장된 SELU 활성화 및 특정 가중치 초기화에 기반하여 도입해 활성화를 자동으로 0 평균 및 단위 분산으로 이끈다. 이를 통해 배치 정규화 없이 아주 깊은 네트워크를 가능하게 한다. 이론적 보장(고정점 안정성 및 분산의 한계)과 표준 FNN 및 정규화 기반 방법들에 비해 다수 벤치마크에서 우수한 성능을 시연한다.

ABSTRACT

Deep Learning has revolutionized vision via convolutional neural networks (CNNs) and natural language processing via recurrent neural networks (RNNs). However, success stories of Deep Learning with standard feed-forward neural networks (FNNs) are rare. FNNs that perform well are typically shallow and, therefore cannot exploit many levels of abstract representations. We introduce self-normalizing neural networks (SNNs) to enable high-level abstract representations. While batch normalization requires explicit normalization, neuron activations of SNNs automatically converge towards zero mean and unit variance. The activation function of SNNs are "scaled exponential linear units" (SELUs), which induce self-normalizing properties. Using the Banach fixed-point theorem, we prove that activations close to zero mean and unit variance that are propagated through many network layers will converge towards zero mean and unit variance -- even under the presence of noise and perturbations. This convergence property of SNNs allows to (1) train deep networks with many layers, (2) employ strong regularization, and (3) to make learning highly robust. Furthermore, for activations not close to unit variance, we prove an upper and lower bound on the variance, thus, vanishing and exploding gradients are impossible. We compared SNNs on (a) 121 tasks from the UCI machine learning repository, on (b) drug discovery benchmarks, and on (c) astronomy tasks with standard FNNs and other machine learning methods such as random forests and support vector machines. SNNs significantly outperformed all competing FNN methods at 121 UCI tasks, outperformed all competing methods at the Tox21 dataset, and set a new record at an astronomy data set. The winning SNN architectures are often very deep. Implementations are available at: github.com/bioinf-jku/SNNs.

연구 동기 및 목표

• 깊고 견고한 피드포워드 네트워크가 복잡한 표현을 학습할 수 있도록 heavy normalization tricks 없이도 필요하다는 점을 동기화한다.
• SELU 활성화 및 특정 가중치 초기화를 통해 층 간 안정적인 활성 통계를 유지하는 self-normalizing 메커니즘을 제안한다.
• 자체 정규화를 위한 이론적 보장(고정점 수렴, 분산 한계)을 제공한다.
• 다양한 데이터셋에서 SNN이 다양한 정규화 스킴 및 경쟁 모델에 비해 경험적으로 우수하다는 점을 입증한다.

제안 방법

• SELU 활성화 도입: selu(x) = lambda x for x>0; lambda*(alpha e^x - alpha) for x<=0, with alpha and lambda chosen to achieve a stable fixed point.
• 레이어 활성화 평균/분산(mu, nu)에서 다음 레이어의(mu~, nu~)로의 매핑 g를 SELU로 변환된 가우시안 z ~ N(mu*omega, sqrt(nu*tau))의 모먼트를 통해 정의하고, mu~ 및 nu~의 해석적 표현을 도출한다(Equations 4 and 5).
• 정규화된 고정점 동작을 위한 omega = 0 및 tau = 1로 가중치 초기화를 설정하고, SELU 매개변수(alpha_01, lambda_01)하에서 (mu, nu)가 일반적으로 (0,1)로 수렴하는 안정적인 고정점임을 증명한다.
• Banach 고정점 정리를 통해 g가 영역 Omega에서 수축함을 보여주며, 고유의 매력적 고정점 및 self-normalization을 보장한다.
• 분산 한계(정리 2 및 3)를 확립하여 기울기의 폭주/소실을 방지하고 많은 레이어에 걸쳐 nu가 통제 가능한 범위 내에 남도록 한다.
• training 중 self-normalization을 유지하기 위해 SELUs에 대한 평균/분산을 보존하는 dropout의 변형인 alpha-dropout를 도입한다.

실험 결과

연구 질문

• RQ1 SELU 활성화와 특정 초기화가 다수의 네트워크 층에 걸쳐 self-normalization을 유도할 수 있는가?
• RQ2 self-normalizing 특성이 소실/발산하는 그래디언트를 방지하고 더 깊은 FNN의 robust한 학습을 가능하게 하는가?
• RQ3 SNN은 다양한 벤치마크에서 배치 정규화, 레이어 정규화, 가중치 정규화, Highway/ResNet 등과 비교하여 어떤 성능 차이를 보이는가?
• RQ4 UCI 태스크, 약물 발견(Tox21), 천문 데이터셋에서 매우 깊은 SNN이 어떤 실험적 이익을 달성하는가?

주요 결과

• SNN은 121개의 UCI 태스크에서 페어와이즈 비교에서 경쟁 FNN보다 상당히 우수한 성능을 보인다.
• Tox21에서 더 깊은 SNN(최대 8층)은 얕은 배치norm/가중치정규화 네트워크를 능가하고, 8-layer SNN이 최고의 성능을 달성하며 새로운 벤치마크를 설정한다.
• 천문학(HTRU2 펄서 데이터셋)에서 SNN은 0.98의 최첨단 AUC를 달성하며 Naive Bayes, C4.5, SVM 기반선들을 능가한다.
• SNN은 최적 정확도를 달성하기 위해 경쟁자들보다 훨씬 더 깊은 구조(평균 깊이 약 10.8층)를 사용하는 경향이 있다.
• 이론적 결과는 정규화된 가중치 하에서 평균/분산(0,1)에 대해 안정적이고 매력적인 고정점을 확보하며, 분산 한계는 기울기 폭주/소실을 방지한다.