[논문 리뷰] Batch Normalization Orthogonalizes Representations in Deep Random Networks

Hadi Daneshmand, Amir Joudaki외 1명|arXiv (Cornell University)|2021. 06. 07.

Adversarial Robustness in Machine Learning참고 문헌 37인용 수 9

한 줄 요약

이 논문은 깊이 있는 무작위 신경망에서 배치 정규화(BN)가 레이어 간에 점점 더 직교적인 은닉 표현을 유도함을 보여주며, 깊이가 증가할수록 직교성이 기하급수적으로 향상되고, 너비가 클수록 반비례하여 향상됨을 밝힌다. 이론적으로는 표현들이 등방성 가우시안을 중심으로 한 워샤르슈타인-2 구에 수렴하며, 실험적으로는 직교적인 표현에서 시작할 경우 BN이 없더라도 SGD 수렴 속도가 빨라진다.

ABSTRACT

This paper underlines a subtle property of batch-normalization (BN): Successive batch normalizations with random linear transformations make hidden representations increasingly orthogonal across layers of a deep neural network. We establish a non-asymptotic characterization of the interplay between depth, width, and the orthogonality of deep representations. More precisely, under a mild assumption, we prove that the deviation of the representations from orthogonality rapidly decays with depth up to a term inversely proportional to the network width. This result has two main implications: 1) Theoretically, as the depth grows, the distribution of the representation -- after the linear layers -- contracts to a Wasserstein-2 ball around an isotropic Gaussian distribution. Furthermore, the radius of this Wasserstein ball shrinks with the width of the network. 2) In practice, the orthogonality of the representations directly influences the performance of stochastic gradient descent (SGD). When representations are initially aligned, we observe SGD wastes many iterations to orthogonalize representations before the classification. Nevertheless, we experimentally show that starting optimization from orthogonal representations is sufficient to accelerate SGD, with no need for BN.

연구 동기 및 목표

• 배치 정규화가 적용된 깊이 있는 무작위 가중치를 가진 신경망의 표현적 성질을 이해하는 것.
• 배치 정규화가 레이어 간 은닉 표현의 직교성에 미치는 영향을 조사하는 것.
• 네트워크 깊이, 너비, 표현의 직교성에서의 이탈 간 비점근적 연결을 수립하는 것.
• 유한 너비의 깊이 있는 네트워크에서도 BN이 등방성 가우시안 유사 표현을 강제함을 보여주는 것.
• BN이 없더라도 직교적인 초기 표현이 SGD 학습을 가속화하는지 검증하는 것.

제안 방법

• 은닉 표현의 완벽한 직교성에서의 이탈 정도를 측정하기 위해 '직교성 갭'을 도입함.
• 무작위 가우시안 가중치를 가진 연속적인 BN 및 선형 레이어의 표현에 대한 마르코프 체인을 분석함.
• 약한 가정 하에 기대 직교성 갭이 $\mathcal{O}\left((1 - \alpha)^{\text{depth}} + \frac{\text{배치 크기}}{\alpha \sqrt{\text{너비}}}\right)$ 로 감소함을 증명함.
• 선형 레이어 이후 표현의 분포가 등방성 가우시안을 중심으로 한 워샤르슈타인-2 구로 수렴하며, 반지름이 $\sim \frac{1}{\sqrt{\text{너비}}}$ 로 감소함을 확립함.
• 특징 맵의 SVD 기반 초기화를 통해 컨볼루션 네트워크에서 직교성을 강제하는 가중치 초기화 기법을 제안함.
• 고정된 학습률과 배치 크기를 사용한 완전히 연결된 네트워크와 컨볼루션 네트워크에서 실험을 통해 방법을 검증함.

실험 결과

연구 질문

• RQ1 배치 정규화는 깊이 있는 무작위 신경망에서 표현의 직교성에 어떻게 영향을 미치는가?
• RQ2 비점근적으로 네트워크 깊이, 너비, 표현의 직교성에서의 이탈 간의 관계는 무엇인가?
• RQ3 유한 너비의 네트워크에서도 배치 정규화가 등방성 가우시안 유사 분포를 깊이 있는 표현에 강제로 부여할 수 있는가?
• RQ4 BN이 없더라도 직교적인 초기 표현에서 시작하면 SGD 수렴 속도가 빨라지는가?
• RQ5 초기 표현의 직교성이 깊이 있는 네트워크의 최적화 역학에 얼마나 영향을 미치는가?

주요 결과

• 기대 직교성 갭은 깊이에 따라 기하급수적으로 감소하며, $\mathcal{O}\left((1 - \alpha)^{\text{depth}} + \frac{\text{배치 크기}}{\alpha \sqrt{\text{너비}}}\right)$ 로 표현되며, 여기서 $\alpha > 0$ 은 상수임.
• 선형 레이어 이후 표현의 분포는 등방성 가우시안을 중심으로 한 워샤르슈타인-2 구로 수렴하며, 반지름은 $\sim \frac{1}{\sqrt{\text{너비}}}$ 로 감소함.
• BN은 유한 너비의 깊이 있는 네트워크에서도 표현이 등방성 가우시안에 가까워지도록 보장하여, 가우시안 프로세스 근사와의 격차를 메운다.
• 실험 결과, 직교적인 표현에서 초기화할 경우 BN이 없더라도 SGD 수렴 속도가 빨라지며, 특히 깊이 있는 네트워크에서 두드러짐.
• 제안된 SVD 기반 초기화 기법은 컨볼루션 네트워크에서 깊이 있는 아키텍처(예: 80층 네트워크)에서 학습 속도를 향상시키며, Xavier 초기화를 능가함.
• 이론적 및 실험적 결과는 ReLU, 시그모이드, 탄젠트, sin 및 tanh와 같은 홀수 함수를 포함한 다양한 활성화 함수에서 동일하게 성립하며, 직교성 행동에 있어 유의미한 차이가 없음.