[논문 리뷰] On the Principle of Least Symmetry Breaking in Shallow ReLU Models

Yossi Arjevani, Michael Field|arXiv (Cornell University)|2019. 12. 26.

Stochastic Gradient Optimization Techniques참고 문헌 30인용 수 5

한 줄 요약

이 논문은 얕은 ReLU 네트워크에서 확률적 경사 하강법(SGD)이 고도의 대칭 부분군을 가진 임계점으로 수렴하는 이유를 설명하기 위해 최소 대칭 깨짐 원리(principle of least symmetry breaking)를 제안한다. 이는 SGD에 의해 탐지된 비정상적인 국소 최소값이 목표 모델의 대칭성에 비해 최대 또는 상당한 대칭 부분군을 가지며, 다양한 데이터 및 활성화 분포에서 손실 곡면의 관측된 패턴을 이론적으로 설명한다.

ABSTRACT

We consider the optimization problem associated with fitting two-layer ReLU networks with respect to the squared loss, where labels are assumed to be generated by a target network. Focusing first on standard Gaussian inputs, we show that the structure of spurious local minima detected by stochastic gradient descent (SGD) is, in a well-defined sense, the \emph{least loss of symmetry} with respect to the target weights. A closer look at the analysis indicates that this principle of least symmetry breaking may apply to a broader range of settings. Motivated by this, we conduct a series of experiments which corroborate this hypothesis for different classes of non-isotropic non-product distributions, smooth activation functions and networks with a few layers.

연구 동기 및 목표

• 두 층의 ReLU 네트워크에서 SGD가 발견한 비정상적인 국소 최소값의 구조적 패턴을 설명하기 위해.
• 임계점의 대칭성이 목표 모델, 데이터 분포, 네트워크 아키텍처의 공동 불변성에 의해 지배되는지 조사하기 위해.
• 등방성 가우시안 입력을 초월하여 최소 대칭 깨짐 원리의 일반성 테스트를 위해.
• 이러한 대칭 기반 메커니즘이 비등방성 분포, 스무스 활성화 함수(예: Leaky-ReLU, Softplus) 및 더 깊은 네트워크로까지 확장되는지 탐색하기 위해.
• 원리의 한계를 규명하기 위해 대칭 깨짐이 성립하지 않는 반례를 식별하기 위해.

제안 방법

• 두 층의 ReLU 네트워크에서 손실 제곱의 불변성 구조를 가중치 행렬의 행 및 열 순열에 대해 분석한다.
• 대칭군 $S_k \times S_d$ 및 대각선 부분군 $\Delta S_d$의 등방성 부분군 격자(lattice)를 특성화하여 최대 등방성 부분군을 식별한다.
• [16]에서 제시된 자동 균형 성질(auto-balancing property)을 연속 대칭에 의해 유도된 보존 법칙으로 재구성한다.
• 다양한 입력 분포(Gaussian, 균일, 상관관계 있음), 목표 가중치 행렬(항등행렬, 블록 대각형), 활성화 함수(ReLU, Leaky-ReLU, Softplus) 하에서 SGD를 통한 임계점의 실증적 평가를 수행한다.
• 관측된 임계점의 등방성 유형을 목표 모델의 대칭군의 이론적 최대 등방성 부분군과 비교한다.
• 수치 실험을 통해 분포 이동(예: 이동된 균일 분포) 및 더 깊은 아키텍처에서의 강건성 테스트를 수행한다.

실험 결과

연구 질문

• RQ1 왜 얕은 ReLU 네트워크에서 SGD 궤적은 항상 높은 등방성 부분군을 가진 임계점으로 수렴하는가?
• RQ2 비등방성, 비곱형 입력 분포에서 최소 대칭 깨짐 원리가 어느 정도 유지되는가?
• RQ3 목표 모델의 대칭성 변화(예: 블록 대각형 가중치 행렬)에 따라 임계점의 등방성 유형은 어떻게 적응하는가?
• RQ4 Leaky-ReLU 및 Softplus와 같은 스무스 활성화 함수로도 이 대칭 기반 설명이 확장되는가?
• RQ5 최소 대칭 깨짐 원리가 실패하는 조건는 무엇이며, 어떤 구조적 특성이 대칭 깨짐을 유도하는가?

주요 결과

• 등방성 가우시안 입력을 가진 두 층의 ReLU 네트워크에서 SGD에 의해 탐지된 비정상적인 국소 최소값은 전역 해의 등방성 군 $\Delta S_d$ 내에서 최대 또는 상당한 등방성 부분군을 나타낸다.
• 목표 가중치 행렬이 블록 대각형인 경우(예: ${\bm{I}}_{d/2} \oplus 2{\bm{I}}_{d/2}$)에도 임계점의 구조는 목표 모델의 대칭성에 대한 최대 등방성 부분군과 일치한다.
• 비등방성 입력 분포인 $\mathcal{U}([-1+C,1+C]^{20})$의 경우, $C$가 1에 가까워질수록 관측된 임계점의 등방성은 감소하며, 이는 대칭 원리의 붕괴를 시사한다.
• Leaky-ReLU 및 Softplus 활성화 함수에서도 동일한 등방성 구조가 관찰되나, 일반적으로 ReLU보다 수렴 속도가 느리다.
• 더 깊은 완전 연결 ReLU 네트워크에서는 등방성 구조가 하위층에서만 유지되며, 깊이에 따른 대칭성 전파가 제한적임을 시사한다.
• 최소 대칭 깨짐 원리는 보편적이지 않다: 입력 분포가 기본 대칭성을 깨뜨릴 경우 실패함을 이동된 균일 분포 사례에서 입증하였다.