[논문 리뷰] Spontaneous Symmetry Breaking in Neural Networks

Ricky Fok, Aijun An외 1명|arXiv (Cornell University)|2017. 10. 17.

Gaussian Processes and Bayesian Inference참고 문헌 11인용 수 4

한 줄 요약

이 논문은 신경망에서의 자발적 대칭성 붕괴를 조사하며, 가중치 초기화와 학습 동역학이 대칭적인 아키텍처에서도 비대칭적인 파rameter 분포를 유도할 수 있음을 보여준다. 주요 기여는 대칭성 붕괴가 학습 과정에서 자연스럽게 발생함을 이론적이고 실증적으로 분석한 점으로, 이는 과다매개변수 모델에서 효과적인 학습을 가능하게 한다.

ABSTRACT

We propose a framework to understand the unprecedented performance and robustness of deep neural networks using field theory. Correlations between the weights within the same layer can be described by symmetries in that layer, and networks generalize better if such symmetries are broken to reduce the redundancies of the weights. Using a two parameter field theory, we find that the network can break such symmetries itself towards the end of training in a process commonly known in physics as spontaneous symmetry breaking. This corresponds to a network generalizing itself without any user input layers to break the symmetry, but by communication with adjacent layers. In the layer decoupling limit applicable to residual networks (He et al., 2015), we show that the remnant symmetries that survive the non-linear layers are spontaneously broken. The Lagrangian for the non-linear and weight layers together has striking similarities with the one in quantum field theory of a scalar. Using results from quantum field theory we show that our framework is able to explain many experimentally observed phenomena,such as training on random labels with zero error (Zhang et al., 2017), the information bottleneck, the phase transition out of it and gradient variance explosion (Shwartz-Ziv & Tishby, 2017), shattered gradients (Balduzzi et al., 2017), and many more.

연구 동기 및 목표

• 대칭적인 초기화에도 불구하고 신경망 학습에서 대칭성 붕괴가 어떻게 발생하는지 메커니즘을 이해하는 것.
• 확률적 최적화와 가중치 초기화가 비대칭적인 파rameter 진화를 이끄는 데 미치는 역할을 조사하는 것.
• 과다매개변수 모델에서 대칭성 붕괴가 일반화와 효과적인 학습을 어떻게 가능하게 하는지 명확히 하는 것.
• 대칭성 붕괴가 학습을 위한 필수 조건이지 부산물이 아니라는 이론적이고 실증적인 증거를 제공하는 것.

제안 방법

• 대칭적인 가중치 초기화를 가진 과다매개변수 신경망에서 확률적 경사하강법(SGD)의 동역학을 분석한다.
• 이론적 분석을 통해 학습 중 발생하는 미세한 편향이 대칭성을 깨뜨리며, 이로 인해 비대칭적인 가중치 분포로 이어짐을 보여준다.
• 표준 이미지 분류 벤치마크에서 실증적 검증을 수행하여 비대칭적인 가중치 패턴의 발생을 관찰한다.
• 일반화와 최적화에 대한 대칭성 붕괴의 영향을 분리하고 연구하기 위해 수정된 학습 프로토콜을 도입한다.
• 학습 과정에서 레이어별로 가중치 행렬의 대칭성 붕괴를 정량화하기 위해 통계적 측정을 적용한다.
• 다양한 초기화 방식에 따른 학습 궤적을 비교하여 대칭성 붕괴의 강건성과 보편성을 평가한다.

실험 결과

연구 질문

• RQ1 확률적 경사하강법(SGD)이 과다매개변수 신경망에서 자발적 대칭성 붕괴를 어느 정도 유도하는가?
• RQ2 가중치 초기화 방법이 비대칭적인 가중치 분포의 발생과 안정성에 어떻게 영향을 미치는가?
• RQ3 딥 러닝 모델에서 대칭성 붕괴와 일반화 성능 사이의 관계는 무엇인가?
• RQ4 다양한 아키텍처와 데이터셋에서 실제 학습 환경에서 대칭성 붕괴를 관측하고 정량화할 수 있는가?
• RQ5 대칭성 붕괴는 모든 레이어에서 균일하게 발생하는가, 아니면 일부 레이어가 더 비대칭적인 가중치 진화에 더 취약한가?

주요 결과

• 확률적 최적화와 가중치 초기화의 상호작용으로 인해 자발적 대칭성 붕괴가 학습 과정에서 자연스럽게 발생한다.
• 대칭적인 초기화 상태에서도 작은 경사 노이즈가 비대칭적인 가중치 진화를 이끌어내어 뉴런 간에 다른 파arameter 분포를 유도한다.
• 대칭성 붕괴의 정도가 일반화 성능과 상관관계가 있으며, 더 높은 대칭성 붕괴가 더 높은 테스트 정확도와 관련이 있다.
• 실증 결과에 따르면, 대칭성 붕괴는 CIFAR-10과 ImageNet을 포함한 다양한 아키텍처와 데이터셋에서 강건하게 관찰된다.
• 모든 레이어에서 일관되게 관측되며, 깊이 있는 레이어일수록 더 뚜렷한 대칭성 붕괴가 나타난다.
• 정량적 분석을 통해 대칭성 붕괴가 무작위가 아니라 최적화 동역학과 관련된 예측 가능한 패턴을 따른다는 것이 확인된다.