[논문 리뷰] Batch Normalization Provably Avoids Rank Collapse for Randomly Initialised Deep Networks

Hadi Daneshmand, Jonas Köhler외 3명|arXiv (Cornell University)|2020. 03. 03.

Sparse and Compressive Sensing Techniques참고 문헌 14인용 수 9

한 줄 요약

이 논문은 배치 정규화(BN)가 무작위로 초기화된 깊은 신경망에서 랭크 붕괴를 방지함으로써 은닉층 활성화의 스펙트럼 성질을 안정화시킴을 증명한다. 마르코프 체인 이론을 사용하여 깊이가 깊은 선형 신경망에서 랭크의 하한을 유도하고, 실험적으로 BN이 ReLU 네트워크에서 높은 랭크를 유지함을 검증함으로써 매우 깊은 아키텍처에서의 안정적인 훈련을 가능하게 한다.

ABSTRACT

Randomly initialized neural networks are known to become harder to train with increasing depth, unless architectural enhancements like residual connections and batch normalization are used. We here investigate this phenomenon by revisiting the connection between random initialization in deep networks and spectral instabilities in products of random matrices. Given the rich literature on random matrices, it is not surprising to find that the rank of the intermediate representations in unnormalized networks collapses quickly with depth. In this work we highlight the fact that batch normalization is an effective strategy to avoid rank collapse for both linear and ReLU networks. Leveraging tools from Markov chain theory, we derive a meaningful lower rank bound in deep linear networks. Empirically, we also demonstrate that this rank robustness generalizes to ReLU nets. Finally, we conduct an extensive set of experiments on real-world data sets, which confirm that rank stability is indeed a crucial condition for training modern-day deep neural architectures.

연구 동기 및 목표

• 무작위 초기화된 네트워크에서 스펙트럼 불안정성에도 불구하고 배치 정규화가 매우 깊은 신경망의 훈련을 가능하게 하는 이유를 설명하는 것.
• 깊은 비정규화된 네트워크의 훈련 실패 원인으로서의 랭크 붕괴 역할을 조사하는 것.
• 은닉층 활성화의 랭크를 분석함으로써 BN의 효과성에 대한 이론적 기반을 확립하는 것.
• 랭크 안정성이 깊은 네트워크에서 성공적인 최적화를 가능하게 하는 핵심 요소임을 보여주는 것.

제안 방법

• 무작위 초기화 조건 하에서 깊이가 깊은 선형 및 ReLU 네트워크의 은닉층 활성화의 스펙트럼 성질을 분석한다.
• 마르코프 체인 이론 도구를 적용하여 배치 정규화가 있는 깊이가 깊은 선형 네트워크에서 최종층의 랭크 하한을 도출한다.
• 선형 및 ReLU 네트워크에서 다양한 깊이에서 은닉 표현의 랭크를 실험적으로 평가한다.
• Fashion-MNIST 및 CIFAR-10과 같은 실제 데이터셋에서 배치 정규화된 네트워크와 비정규화된 네트워크의 훈련 동역학과 랭크 변화를 비교한다.
• 스토하스틱 경사 분석을 통해 랭크 붕괴가 경사가 한 방향으로 정렬되게 하여 최적화를 어렵게 한다는 것을 보여준다.
• 배치 정규화에서 평균 제거를 생략한 경우 및 무작위 데이터 실험을 통한 추론 실험을 통해 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 왜 무작위로 초기화된 깊은 네트워크는 특정 깊이를 초과하면 훈련에 실패하는가?
• RQ2 배치 정규화는 깊은 네트워크에서 랭크 붕괴를 어떻게 방지하는가?
• RQ3 배치 정규화가 있는 깊은 선형 네트워크에서 은닉 표현의 랭크에 대한 이론적 하한은 무엇인가?
• RQ4 BN 하에서의 랭크 안정성이 선형 네트워크에서 ReLU 네트워크로 일반화되는가?
• RQ5 랭크 안정성이 깊은 네트워크의 성공적인 훈련을 위해 필수 조건인가?

주요 결과

• 배치 정규화는 깊이가 깊은 선형 네트워크에서 랭크 붕괴를 방지하여 극도로 깊은 네트워크에서도 열화되지 않은 랭크를 유지한다.
• 마르코프 체인 분석을 통해 배치 정규화가 있는 깊은 선형 네트워크에서 랭크의 이론적 하한을 도출하였으며, 이는 안정성에 대한 공식적 근거를 제공한다.
• 실험 결과, BN은 ReLU 네트워크에서 높은 랭크를 유지하는 반면, 비정규화된 네트워크는 10층을 초과해 빠르게 랭크 붕괴를 겪는다.
• 랭크 붕괴는 훈련 실패와 강하게 상관되며, Fashion-MNIST에서 비정규화된 네트워크는 10층을 초과해 학습에 실패하는 반면, BN 네트워크는 높은 정확도를 유지한다.
• 랭크 붕괴가 발생한 네트워크에서는 스토하스틱 경사가 단일 방향으로 정렬되어, 큰 학습률을 사용하더라도 최적화가 효과적으로 이루어지지 않는다.
• VGG19 및 ResNet-50를 사용한 CIFAR-10 실험에서, 평균 제거가 없는 배치 정규화도 랭크 붕괴를 방지하지 못함을 확인하여, 전체 BN 동작의 필요성을 검증한다.