[논문 리뷰] Normalization Propagation: A Parametric Technique for Removing Internal Covariate Shift in Deep Networks

Devansh Arpit, Yingbo Zhou외 2명|arXiv (Cornell University)|2016. 03. 04.

Gaussian Processes and Bayesian Inference참고 문헌 12인용 수 86

한 줄 요약

이 논문은 내부 공분산 이동을 분석적으로 평균과 표준편차의 폐쇄형 추정을 사용해 층을 거쳐 정규화 통계를 전파하는 데이터에 의존하지 않는 파arametric 기법인 정규화 전파(NormProp)를 제안한다. 배치 정규화와 달리 NormProp는 배치 통계를 사용하지 않아 배치 크기 1로도 훈련이 가능하고 추론 속도가 빠르며, CIFAR-10, CIFAR-100 및 SVHN 벤치마크에서 경쟁력 있거나 뛰어난 정확도와 더 빠른 수렴을 달성한다.

ABSTRACT

While the authors of Batch Normalization (BN) identify and address an important problem involved in training deep networks-- Internal Covariate Shift-- the current solution has certain drawbacks. Specifically, BN depends on batch statistics for layerwise input normalization during training which makes the estimates of mean and standard deviation of input (distribution) to hidden layers inaccurate for validation due to shifting parameter values (especially during initial training epochs). Also, BN cannot be used with batch-size 1 during training. We address these drawbacks by proposing a non-adaptive normalization technique for removing internal covariate shift, that we call Normalization Propagation. Our approach does not depend on batch statistics, but rather uses a data-independent parametric estimate of mean and standard-deviation in every layer thus being computationally faster compared with BN. We exploit the observation that the pre-activation before Rectified Linear Units follow Gaussian distribution in deep networks, and that once the first and second order statistics of any given dataset are normalized, we can forward propagate this normalization without the need for recalculating the approximate statistics for hidden layers.

연구 동기 및 목표

• 초기 훈련 동안 배치 통계에 의존하는 것이 정규화 추정치를 정확히 하지 못하게 하는 배치 정규화의 한계를 해결하기 위해.
• 정규화에 배치 통계에 의존하는 것을 제거하여 배치 크기 1에서도 사용할 수 있고 훈련 중 일반화 성능을 향상시키기 위해.
• 각 층에서 통계를 재계산하지 않고도 깊은 신경망을 거쳐 정규화 특성을 전파하는 파arametric이고 데이터에 의존하지 않는 방법을 개발하기 위해.
• 배치 통계의 이동 평균을 유지할 필요가 없어지므로 훈련 속도를 높이고 수렴이 더 안정적이게 하기 위해.
• 정규화가 가우시안 전활성화 분포와 비일관성 있는 가중치 행렬에 대한 가정을 바탕으로 폐쇄형 통계 추정을 사용해 층을 거쳐 분석적으로 전파될 수 있는지 입증하기 위해.

제안 방법

• NormProp는 각 층의 전활성화 값에 대해 데이터에 의존하지 않는 폐쇄형 평균과 표준편차 추정치를 사용하며, 이 값들이 가우시안 분포를 따른다고 가정한다.
• 선형 변환과 정규화의 대수적 구조를 활용하여 통계를 재계산하지 않고도 입력에서 모든 은닉 층으로 정규화를 전파한다.
• 각 층의 가중치 행렬을 조정하여 정규화된 분포를 유지함으로써 훈련 반복 동안 일관된 입력 통계를 보장한다.
• 배치 정규화와 유사하게 단위별로 독립적으로 정규화를 적용하지만, 훈련 또는 추론 시에 배치 통계를 사용하지 않는다.
• 전활성화가 약간 가우시안에 가깝고 가중치 행렬이 대략 비일관성이 있다고 가정하여 정규화를 분석적으로 전파할 수 있다.
• 이동 평균의 배치 통계를 계산하지 않아 계산 오버헤드를 줄이고 배치 크기 1 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 훈련 또는 추론 중에 배치 통계에 의존하지 않고 내부 공분산 이동을 효과적으로 줄일 수 있는가?
• RQ2 파arametric이고 데이터에 의존하지 않는 정규화 방법이 배치 정규화와 비교해 유사하거나 더 나은 성능을 내며 더 빠르고 안정적인가?
• RQ3 반복적인 배치 통계 대신 폐쇄형 통계 추정치를 사용해 정규화가 깊은 신경망을 효과적으로 전파될 수 있는가?
• RQ4 네트워크 파라미터가 급격히 변화하는 초기 훈련 단계에서 NormProp이 은닉 층의 입력 분포를 안정적으로 유지할 수 있는가?
• RQ5 배치 통계에 의존하지 않는 정규화 기법을 사용해 배치 크기 1로 깊은 신경망을 훈련시킬 수 있는가?

주요 결과

• NormProp는 데이터 증강을 사용할 경우 CIFAR-10에서 테스트 오차 7.47%를 기록하여 배치 정규화(7.25%)를 뛰어넘고 최신 기술 수준의 방법과 동등하거나 뛰어난 성능을 보였다.
• CIFAR-100에서는 데이터 증강을 사용할 경우 테스트 오차 29.24%를 기록하여 배치 정규화(30.26%)와 기존 최신 기술 수준의 방법을 모두 뛰어넘었다.
• SVHN에서는 테스트 오차 1.88%를 기록하여 배치 정규화(2.25%)와 다른 최신 기술 수준의 모델을 크게 앞서갔다.
• NormProp는 배치 정규화 대비 약 12%의 훈련 시간을 단축시켰으며, CIFAR-10에서 에포크당 84초가 걸리고 배치 정규화는 96초가 소요되었다.
• 이동 평균 배치 통계가 없기 때문에 특히 초기 훈련 단계에서 더 안정적인 은닉 층 입력 분포를 유지했다.
• NormProp는 배치 크기 1로 훈련이 가능하며, 이는 배치 정규화가 배치 통계에 의존하기 때문에 이를 해결할 수 없는 제약이다.