[논문 리뷰] On-line learning dynamics of ReLU neural networks using statistical physics techniques

Michiel Straat, Michael Biehl|arXiv (Cornell University)|2019. 03. 18.

Neural Networks and Applications참고 문헌 11인용 수 4

한 줄 요약

이 논문은 통계역학 기법을 사용하여 두 층의 ReLU 신경망에 대한 정확한 거시적 온라인 학습 역학을 유도하며, 열역학적 한계에서 순서 매개변수에 대한 상미분방정식(OED) 시스템을 수립한다. 주요 기여는 과실현 가능 설정에서 시그모이드 네트워크와 비교해 ReLU 네트워크에서의 특이한 학습 행동—예를 들어 대칭 플레이오프와 가중치 공유—를 드러내며, 안정성과 전문화를 결정짓는 임계 학습률 $\eta_c = 2$ 를 규명한다.

ABSTRACT

We introduce exact macroscopic on-line learning dynamics of two-layer neural networks with ReLU units in the form of a system of differential equations, using techniques borrowed from statistical physics. For the first experiments, numerical solutions reveal similar behavior compared to sigmoidal activation researched in earlier work. In these experiments the theoretical results show good correspondence with simulations. In ove-rrealizable and unrealizable learning scenarios, the learning behavior of ReLU networks shows distinctive characteristics compared to sigmoidal networks.

연구 동기 및 목표

• 두 층의 ReLU 신경망에서 온라인 학습 역학의 정확한 거시적 기술을 통계역학 방법을 사용해 개발하기 위해.
• ReLU 활성화가 시그모이드 활성화와 비교해 학습 역학에 미치는 영향을 이해하기 위해, 특히 과실현 가능 및 비실현 가능 상황에서의 차이를 분석하기 위해.
• 대칭성, 고정점, 반발 동역학이 ReLU 네트워크에서 전문화의 기원에 미치는 역할를 규명하기 위해.
• 열역학적 한계에서 안정성과 수렴 행동을 결정짓는 임계 학습률 $\eta_c = 2$ 를 유도하기 위해.
• 가중치 공유, 일반화 오차, 최적 해로의 수렴 측면에서 ReLU와 시그모이드(예: Erf) 활성화 행동을 비교하기 위해.

제안 방법

• 열역학적 한계 $N \to \infty$ 와 중심극한정리(CLT)를 적용하여 미세한 가중치에서 거시적 순서 매개변수(예: $R_{in}, Q_{ik}, T_{nm}$)를 유도한다.
• 입력 차원 $N$ 에 비례하여 스케일링된 학습률 $\eta$ 를 사용하는 온라인 경사하강법을 적용하여 가중치 벡터의 확률적 갱신 규칙을 도출한다.
• 전활성화와 ReLU 비선형성의 연합 가우시안 통계를 활용해 순서 매개변수의 진화를 기술하는 폐쇄형 상미분방정식(ODE) 시스템을 유도한다.
• 형태 $\langle \theta(u) v w \theta(w) \rangle$ 의 기대값을 계산하기 위해 다변량 정규분포 누적분포함수의 역함수를 활용한다.
• ODE 시스템에 대해 선형 안정성 분석을 수행하여 고정점을 식별하고 임계 학습률 $\eta_c = 2$ 를 도출한다.
• 수치 시뮬레이션($N = 10^4$)을 통해 이론적 예측을 검증하며, 일반화 오차와 순서 매개변수의 진화를 비교한다.

실험 결과

연구 질문

• RQ1 온라인 학습에서 ReLU 네트워크의 거시적 학습 역학은 시그모이드 네트워크와 어떻게 다를까?
• RQ2 ReLU 네트워크 학습에서 대칭 플레이오프가 나타나는 원인는 무엇이며, 전문화로의 전이를 이끄는 요인은 무엇인가?
• RQ3 임계 학습률 $\eta_c = 2$ 는 ReLU 네트워크 학습의 안정성과 수렴에 어떤 영향을 미치는가?
• RQ4 과실현 가능 설정에서, 왜 다수의 ReLU 유닛이 가중치 공유를 통해 동일한 티쳐 유닛을 학습하는가? 그리고 ReLU의 조각별 선형성은 어떤 역할을 하는가?
• RQ5 일반화 오차는 ReLU 네트워크에서 어떻게 진화하는가? 과실현 가능 vs. 비실현 가능성 상황에서 0으로 수렴하는지 여부는 무엇에 의해 결정되는가?

주요 결과

• 이론적 ODE 시스템은 $N = 10^4$ 에서 시뮬레이션과 뛰어난 일치를 보이며 거시적 근사의 타당성을 검증한다.
• 비최적의 플레이오프는 반발 고정점으로 인해 발생하며, $K=M=2$ 일 때 $R_{in} \approx 0.52$ 로 나타나 전문화 이전의 대칭적 가중치 분포를 나타낸다.
• 전문화는 선형화된 시스템에서 양의 고유값 $\lambda_5 = 0.24$ 로 인해 유도되며, 이는 서로 다른 티쳐 유닛으로 향하는 비대칭적 가중치 갱신을 유도한다.
• 과실현 가능 설정($K > M$)에서 ReLU 유닛들은 가중치 공유를 통해 단일 티쳐 유닛을 공동으로 학습할 수 있다: $\bm{J}_2 + \bm{J}_3 = \bm{B}_2$ (a = b = 0.5), 무한한 수의 해가 존재한다.
• K=3, M=2 일 때, ReLU 네트워크는 $Q_{11}(\infty) = 1.00$, $Q_{22}(\infty) = Q_{33}(\infty) \approx 0.25$, $R_{22} \approx R_{32} \approx 0.5$ 일 때 완벽한 일반화 오차 $\epsilon_g(\infty) = 0$ 를 달성한다.
• 반면, 시그모이드(Erf) 네트워크는 $Q_{22}(\infty) = 0$ 를 통해 여분의 유닛을 제거하며 가중치 공유가 없고, $K=M$ 일 때에만 $\epsilon_g(\infty) = 0$ 으로 수렴한다.