[논문 리뷰] Normalization of Neural Networks using Analytic Variance Propagation

Alexander Shekhovtsov, Boris Flach|arXiv (Cornell University)|2018. 03. 28.

Neural Networks and Applications참고 문헌 18인용 수 8

한 줄 요약

이 논문은 배치 통계에 의존하지 않고 신경망 활성화의 평균과 분산 통계를 계산하기 위해 분석적 분산 전파(AP)를 제안한다. 이를 통해 배치 크기와 무관한 효율적인 정규화가 가능해진다. 가중치와 활성화 통계를 통해 입력 통계를 네트워크 전반에 분석적으로 전파함으로써, AP는 안정적이고 미분 가능한 초기화를 제공하여 포화를 감소시키고 학습의 안정성을 향상시킨다. 다만, 무작위성과 누적 평균이 없기 때문에 배치 정규화가 제공하는 일반화 향상 효과가 부족하다.

ABSTRACT

We address the problem of estimating statistics of hidden units in a neural network using a method of analytic moment propagation. These statistics are useful for approximate whitening of the inputs in front of saturating non-linearities such as a sigmoid function. This is important for initialization of training and for reducing the accumulated scale and bias dependencies (compensating covariate shift), which presumably eases the learning. In batch normalization, which is currently a very widely applied technique, sample estimates of statistics of hidden units over a batch are used. The proposed estimation uses an analytic propagation of mean and variance of the training set through the network. The result depends on the network structure and its current weights but not on the specific batch input. The estimates are suitable for initialization and normalization, efficient to compute and independent of the batch size. The experimental verification well supports these claims. However, the method does not share the generalization properties of BN, to which our experiments give some additional insight.

연구 동기 및 목표

• 배치 정규화의 불안정성과 배치 크기 의존성을 해결하기 위해, 데이터에 의존하지 않고 분석적인 방법으로 활성화 통계를 추정하는 방법을 제공한다.
• 정확한 평균과 분산 추정을 통해 비선형성의 포화를 감소시킴으로써 네트워크 초기화를 향상시킨다.
• 피드포워드 및 순환 네트워크 모두에 적용 가능한 효율적이고 연속적이며 미분 가능한 정규화를 가능하게 한다.
• 평가 모드에서 관찰되는 일반화 갭을 피하는 안정적인 배치 정규화의 대안을 제공한다.

제안 방법

• 입력 통계와 네트워크 가중치를 기반으로 은닉 유닛 활성화의 기대 평균과 분산을 계산하기 위해 분석적 모멘트 전파를 사용한다.
• 독립적인 입력과 선형 변환을 가정할 때, 완전히 연결된 및 컨볼루션 레이어를 통해 일차 및 이차 모멘트 전파 규칙을 적용한다.
• 네트워크의 현재 가중치와 입력 분포의 모멘트를 사용하여 각 레이어 출력의 평균과 분산에 대한 닫힌 형태의 표현식을 유도한다.
• 변환 $ X' = \frac{X - \mu}{\sigma} s + b $ 를 적용하는 정규화 레이어를 도입하며, 여기서 $ \mu $ 와 $ \sigma^2 $ 는 분석적으로 계산된다.
• 배치 추정이 아닌 분석 통계를 기반으로 $ s $ 와 $ b $ 를 초기화함으로써 표준 정규화와 가중치 정규화를 모두 지원한다.
• 배치 통계가 필요 없기 때문에 추론 시에 플러그인 정규화가 가능하여 순환 및 온라인 학습에 적합하다.

실험 결과

연구 질문

• RQ1 분석적 분산 전파가 깊은 네트워크에서 정규화를 위한 안정적이고 배치 크기와 무관한 활성화 통계 추정을 제공할 수 있는가?
• RQ2 학습 안정성과 수렴 속도 측면에서 분석적 정규화는 배치 정규화와 어떻게 비교되는가?
• RQ3 제안된 방법은 표준 또는 가중치 정규화에 비해 나쁜 가중치 초기화에 대해 더 뛰어난 강건성을 보이는가?
• RQ4 유사한 학습 성능에도 불구하고 배치 정규화는 왜 분석적 정규화보다 더 나은 일반화 성능을 보이는가?
• RQ5 분석적 정규화는 직교 또는 기타 구조적 가중치 초기화와 효과적으로 조합될 수 있는가?

주요 결과

• 분석적 분산 전파는 배치 크기와 무관하게 안정적이고 결정적인 활성화 통계 추정을 제공하여, 다양한 입력 배치 간 일관된 정규화를 가능하게 한다.
• 이 방법은 나쁜 초기화에 대한 학습 강건성을 크게 향상시켜, 수렴 속도와 최종 목적 함수 값 측면에서 표준 및 가중치 정규화를 뛰어넘는다.
• 학습 성능는 배치 정규화와 유사하지만, 제안된 방법은 동일한 일반화 향상 효과를 달성하지 못함을 시사하며, 배치 정규화의 무작위성과 누적 평균 통계가 일반화에 기여한다는 것을 시사한다.
• 노이즈가 있는 MNIST 및 CIFAR-10 실험에서, AP2(이차 모멘트를 사용한 분석 전파)는 모든 초기화 방법에서 일관된 학습 성능를 보였지만, 배치 정규화는 비이상적인 초기화 조건에서 불안정성을 보였다.
• 이 방법은 계산적으로 효율적이며, 미분 가능하므로 순환 네트워크 및 온라인 학습 환경에 구현이 가능하다.
• AP에서 일반화 향상이 부족한 것은 배치 정규화의 무작위성과 누적 통계가 일반화에 핵심적인 역할을 하며, 암묵적 앙상블 효과를 통해 기여할 수 있음을 시사한다.