[논문 리뷰] Phase diagram for two-layer ReLU neural networks at infinite-width limit

Tao Luo, Zhi‐Qin John Xu외 2명|arXiv (Cornell University)|2020. 07. 15.

Model Reduction and Neural Networks참고 문헌 15인용 수 15

한 줄 요약

이 논문은 무한한 넓이 근사에서 두 층의 ReLU 신경망에 대한 단계도를 제안하며, 훈련 중 입력 가중치의 상대적 변화에 기반해 세 가지 구분되는 역학적 영역—선형, 임계, 응집—을 규명한다. 주요 기여는 초기화 및 넓이가 훈련 역학과 암묵적 정규화에 미치는 영향을 파악하기 위해 하이퍼파rameter 스케일링(γ 및 γ′을 통해)을 이들 영역으로 매핑하는 이론적이고 실험적인 프레임워크를 수립한 것이다.

ABSTRACT

How neural network behaves during the training over different choices of hyperparameters is an important question in the study of neural networks. In this work, inspired by the phase diagram in statistical mechanics, we draw the phase diagram for the two-layer ReLU neural network at the infinite-width limit for a complete characterization of its dynamical regimes and their dependence on hyperparameters related to initialization. Through both experimental and theoretical approaches, we identify three regimes in the phase diagram, i.e., linear regime, critical regime and condensed regime, based on the relative change of input weights as the width approaches infinity, which tends to $0$, $O(1)$ and $+\infty$, respectively. In the linear regime, NN training dynamics is approximately linear similar to a random feature model with an exponential loss decay. In the condensed regime, we demonstrate through experiments that active neurons are condensed at several discrete orientations. The critical regime serves as the boundary between above two regimes, which exhibits an intermediate nonlinear behavior with the mean-field model as a typical example. Overall, our phase diagram for the two-layer ReLU NN serves as a map for the future studies and is a first step towards a more systematical investigation of the training behavior and the implicit regularization of NNs of different structures.

연구 동기 및 목표

• 훈련 중 다양한 하이퍼파rameter에 따라 두 층의 ReLU 신경망의 역학적 행동을 규명하는 것.
• 네트워크 넓이가 무한히 커질 때 입력 가중치의 상대적 변화에 기반해 선형, 임계, 응집이라는 세 가지 명백한 훈련 영역을 식별하는 것.
• 초기화 분산과 네트워크 넓이에서 유도된 스케일링 파라미터 γ와 γ′을 사용해 단계도를 수립하는 것.
• 넓은 신경망에서 암묵적 정규화와 훈련 역학을 이해하기 위한 이론적이고 실험적인 기반을 마련하는 것.
• 미래의 깊은 네트워크의 훈련 행동과 일반화 성질에 대한 연구를 위한 기초 지도를 제공하는 것.

제안 방법

• 네트워크 넓이 m → ∞ 일 때의 초기화 분산 β₁, β₂ 및 스케일링 인자 α의 점근적 행동에서 두 핵심 스케일링 파라미터 γ와 γ′을 유도한다.
• 적절한 재스케일링 하에 경사 흐름 역학을 적용하여 다양한 네트워크 넓이 간의 역학 유사성을 확보한다.
• 이론적 분석과 수치 실험을 통해 세 가지 역학적 영역—선형(입력 가중치 w_k의 상대적 변화 → 0), 임계(O(1) 변화), 응집(→ ∞ 변화)—의 경계를 규명한다.
• 선형 영역의 유효성을 검증하기 위해 무작위 특징 모델을, 임계 영역의 유효성을 검증하기 위해 평균장 이론 근사를 적용한다.
• 집중 부등식과 고확률 경계를 사용하여 특정 γ 및 γ′ 조건 하에서 큰 파rameter 이동의 가능성을 확립한다.
• 1차원 데이터셋에 대한 실증 분석을 통해 단계도를 검증하고, γ 및 γ′에 따른 파rameter 이탈 경향을 시각화한다.

실험 결과

연구 질문

• RQ1 폭 m에 대한 하이퍼파ram터 스케일링(α, β₁, β₂)의 차이가 두 층의 ReLU 네트워크 훈련 역학에 어떻게 영향을 미치는가?
• RQ2 무한한 넓이 근사에서 나타나는 명백한 역학적 영역는 무엇이며, 입력 가중치의 상대적 변화로 어떻게 특징지어지는가?
• RQ3 하이퍼파ram터 선택과 훈련 행동 및 암묵적 정규화 간의 관계를 매핑하는 통합된 단계도를 구성할 수 있는가?
• RQ4 스케일링 파라미터 γ와 γ′은 훈련 역학이 선형, 임계, 또는 응집 영역에 속하는지를 결정하는 데 어떤 역할을 하는가?
• RQ5 초기화 분산 비율과 스케일링 인자가 특징 공간에서 파라미터 응집 현상의 발생에 어떻게 영향을 미치는가?

주요 결과

• 단계도는 입력 가중치의 점근적 행동에 기반해 세 영역—선형(입력 가중치 w_k의 상대적 변화 → 0), 임계(O(1) 변화), 응집(상대적 변화 → ∞)—을 식별한다.
• 임계 영역은 선형 영역과 응집 영역 사이의 경계로 작용하며, 평균장 역학을 일반적인 예로 포함한다.
• 응집 영역에서는 실험적으로 활성 뉴런들이 특징 공간에서 몇몇 이산적인 방향으로 응집되는 경향을 관찰할 수 있다.
• γ′ < γ − 1 일 때, sup_t RD(θ_w(t)) ≫ 1 이 되어 특정 스케일링 조건 하에서 강한 파라미터 이동이 발생함을 나타낸다.
• 이론적 분석에 따르면, 초기화에 대해 고확률로, 넓이 m이 크고 γ′ < γ − 1 이면 w_k의 상대적 변화가 어떤 상수값을 초월함을 확인할 수 있으며, 이는 응집 영역의 존재를 뒷받침한다.
• 단계도는 초기화 및 스케일링 파라미터의 넓이 m에 대한 로그 스케일링에서 유도된 두 개의 독립적 좌표 γ와 γ′를 사용하여 구성된다.