[논문 리뷰] Shallow Univariate ReLu Networks as Splines: Initialization, Loss Surface, Hessian, & Gradient Flow Dynamics.

Justin Sahs, Ryan Pyle외 5명|arXiv (Cornell University)|2020. 08. 04.

Model Reduction and Neural Networks참고 문헌 22인용 수 6

한 줄 요약

이 논문은 얕은 단변수 ReLU 네트워크를 연속적이고 조각별 선형(CPWL) 스퍼린으로 재해석하여, 저분산의 델타-기울기 분포로 인해 가중치 초기화가 매우 평탄한 함수를 유도한다는 점을 드러낸다. 스퍼린 관점은 평탄한 최소값이 절점의 탈진성에서 기인하며, 과다 매개변수화된 네트워크에서의 암묵적 정규화가 평탄한 초기화, 곡률 기반 매개변수화, 기울기 흐름에 기인한다는 것을 밝혀내며, 커널 기반 분석과 보완되는 투명하고 기하학적인 설명을 제공한다.

ABSTRACT

Understanding the learning dynamics and inductive bias of neural networks (NNs) is hindered by the opacity of the relationship between NN parameters and the function represented. We propose reparametrizing ReLU NNs as continuous piecewise linear splines. Using this spline lens, we study learning dynamics in shallow univariate ReLU NNs, finding unexpected insights and explanations for several perplexing phenomena. We develop a surprisingly simple and transparent view of the structure of the loss surface, including its critical and fixed points, Hessian, and Hessian spectrum. We also show that standard weight initializations yield very flat functions, and that this flatness, together with overparametrization and the initial weight scale, is responsible for the strength and type of implicit regularization, consistent with recent work arXiv:1906.05827. Our implicit regularization results are complementary to recent work arXiv:1906.07842, done independently, which showed that initialization scale critically controls implicit regularization via a kernel-based argument. Our spline-based approach reproduces their key implicit regularization results but in a far more intuitive and transparent manner. Going forward, our spline-based approach is likely to extend naturally to the multivariate and deep settings, and will play a foundational role in efforts to understand neural networks. Videos of learning dynamics using a spline-based visualization are available at http://shorturl.at/tFWZ2.

연구 동기 및 목표

• 표준 매개변수화 하에서 투명하지 않은 얕은 단변수 ReLU 네트워크의 인덕티브 바이어스와 학습 동역학을 이해하기 위해.
• 손실 표면의 기능적 구조를 분석하여 과다 매개변수화된 네트워크에서 일반화의 역설을 해결하기 위해.
• 스퍼린 재매개변수화를 통해 암묵적 정규화를 해석하는 기하학적이고 투명한 렌즈를 제공하고, 특히 가중치 초기화 스케일의 역할을 설명하기 위해.
• 절점과 델타-기울기의 진화를 기반으로 하여 헤시안, 임계점, 기울기 흐름의 동역학을 기능적 매개변수로 기술하기 위해.

제안 방법

• 절점(βi), 델타-기울기(µi), 방향성(si)을 사용하여 완전히 연결된 ReLU 네트워크를 CPWL 스퍼린으로 재매개변수화하여, 네트워크 가중치를 기능적 매개변수로 매핑한다.
• 기울기 흐름을 통해 델타-기울기 µi(t)의 시간 진화를 유도하며, µi(t) = ∫₀ᵗ ⟨ϵ(t), (x−βi)si⟩ dt 를 도출하여 가중치 업데이트와 기능적 변화를 연결한다.
• 임계점에서 손실의 헤시안을 분석하여, 절점 그램 행렬이 질량이 없는 경우에만 비음수 정의이자 0 고유값을 가짐을 증명한다.
• 무한한 너비 근처에서 두 번째 도함수 ˆf′′(x)가 데이터 점에 있는 고리점에서 조각별 선형 함수로 수렴하며, 자연스러운 세차 스퍼린으로 수렴함을 보여준다.
• H→∞ 근처에서 리만 합 근사를 사용하여 ∑µi²를 최소화하는 것이 ∫(f′′(x))²dx를 최소화하는 것과 동치임을 보이며, 가중치 감소와 부드러움을 연결한다.
• 초기화 스케일 α가 암묵적 정규화의 유형을 제어함을 확립하며, 이는 기능적 영향은 없으나 기울기 효과는 크다.

실험 결과

연구 질문

• RQ1 왜 과다 매개변수화된 ReLU 네트워크는 0의 훈련 오차를 가질 수 있음에도 잘 일반화되는가? 그리고 초기화는 이 과정에서 어떤 역할을 하는가?
• RQ2 특히 임계점과 헤시안이 손실 표면의 기능적 매개변수화에서 어떻게 기인하는가?
• RQ3 얕은 ReLU 네트워크에서 암묵적 정규화의 기능적 해석은 무엇이며, 가중치 초기화 스케일과 어떻게 관련이 있는가?
• RQ4 기울기 흐름의 동역학은 초기 기능적 형태를 어떻게 유지하거나 정규화하는가? 특히 과다 매개변수화된 영역에서.
• RQ5 스퍼린 재매개변수화는 무한한 너비 근처에서 자연스러운 세차 스퍼린의 출현을 설명할 수 있는가?

주요 결과

• 표준 가중치 초기화는 델타-기울기 분포의 평균이 0이고 분산이 낮기 때문에 매우 평탄한 초기 함수를 유도한다. 너비가 증가함에 따라 분포가 0에 집중된다.
• 임계점에서 손실의 헤시안은 비음수 정의이며, 절점 그램 행렬이 선형적으로 종속될 경우 0 고유값을 가진다. 이는 다수의 절점이 동일한 활성 데이터를 공유할 때 흔히 발생한다.
• 평탄한 최소값은 局부 현상이 아니며, 절점들이 활성 데이터 영역에서 선형적으로 종속될 경우 손실 표면이 여러 방향으로 평탄해지는 전역 탈진성에서 기인한다.
• 과다 매개변수화된 ReLU 네트워크에서의 암묵적 정규화는 세 가지 요인에서 기인한다: 평탄한 초기화, 곡률 기반 매개변수화(절점과 델타-기울기), 그리고 기울기 경사가 초기 기능적 구조를 유지하고 정규화하는 것.
• 초기화 스케일 α는 암묵적 정규화의 유형을 제어하며, 더 큰 α는 더 풍부하고 덜 부드러운 함수를, 더 작은 α는 더 부드럽고 커널 유사 행동을 촉진한다.
• 무한한 너비 근처에서 학습된 함수는 ∫(f′′(x))²dx를 최소화하면서 데이터 점에서의 보간을 만족하는 자연스러운 세차 스무드 스퍼린으로 수렴한다. 이는 스퍼린 기반 정규화 메커니즘을 확인한다.