[논문 리뷰] Gradient Dynamics of Shallow Univariate ReLU Networks

Francis Williams, Matthew Trager외 4명|arXiv (Cornell University)|2019. 06. 18.

Stochastic Gradient Optimization Techniques참고 문헌 34인용 수 36

한 줄 요약

이 논문은 1D 입력을 갖는 과과적합된 얕은 ReLU 네트워크의 기울기 동역학을 분석하고 커널 및 적응 학습 체계를 밝혀 삼차 스플라인 보간과 선형 스플라인 보간을 제공한다.

ABSTRACT

We present a theoretical and empirical study of the gradient dynamics of overparameterized shallow ReLU networks with one-dimensional input, solving least-squares interpolation. We show that the gradient dynamics of such networks are determined by the gradient flow in a non-redundant parameterization of the network function. We examine the principal qualitative features of this gradient flow. In particular, we determine conditions for two learning regimes:kernel and adaptive, which depend both on the relative magnitude of initialization of weights in different layers and the asymptotic behavior of initialization coefficients in the limit of large network widths. We show that learning in the kernel regime yields smooth interpolants, minimizing curvature, and reduces to cubic splines for uniform initializations. Learning in the adaptive regime favors instead linear splines, where knots cluster adaptively at the sample points.

연구 동기 및 목표

• 과과적합된 1D ReLU 네트워크에서 경사 하강법이 파라미터를 어떻게 진화시키는지 이해한다
• 초기화 및 층 스케일링이 학습 체계를 어떻게 결정하는지 식별한다
• 축약(정준) 파라미터 동역학과 전체 파라미터 동역학의 관계를 특징화한다
• 커널 동역학이 삼차 스플라인에 대응하고 적응 동역학이 선형 스플라인에 대응하는 방식을 보인다
• 폭 m과 정규화가 훈련 궤적 및 일반화에 미치는 역할을 탐구한다

제안 방법

• 네트워크 함수의 표준화된 매개변수화를 채택하여 폭 m이 커짐에 따라 극한 거동을 연구한다
• 네트워크 출력을 매개변수 공간에 대한 측정의 적분으로 표현하고 Wasserstein 기울기 흐름을 도출하기 위해 평균장 이론을 사용한다
• 기울기 흐름하에서 매개변수 측정치의 진화에 대한 PDE(연속방정식)를 도출한다
• 잔차 동역학을 분석하여 뉴런들이 샘플 지점에 모이는지 아니면 커널과 유사한 운동을 따르는지 설명한다
• 전부 매개변수 기울기 동역학과 축약된 표준 동역학을 초기화 불변량에 의한 측정 변화로 연결한다
• 무한 폭 한계에서의 커널 동역학을 특징짓고 해를 RKHS 노름 및 삼차 스플라인과 연결한다
• 델타 불변량을 통해 다양한 초기화가 커널 및 적응 체계 사이를 보간하는 방식을 검토한다
• 규모 매개변수 alpha(m)이 게으른(커널 유사) 학습과 활성 학습 사이의 영향을 논의한다
• 균등 초기화와 가우시안 초기화가 결과 접선 커널에 미치는 영향을 비교한다

실험 결과

연구 질문

• RQ1 초기화 및 스케일링에 어떤 조건이 커널 학습 체계와 적응 학습 체계를 구분하는가?
• RQ2 다양한 매개변수화 하에서 축약된 표준 동역학이 전체 매개변수 동역학과 어떻게 관련되는가?
• RQ3 1D 얕은 ReLU 네트에서 커널 대 적응 체계에서 어떤 기능적 형태(삼차 스플라인 대 선형 스플라인)가 나타나는가?
• RQ4 폭 m 및 정규화 alpha(m)가 기울기 흐름과 일반화 동작에 어떤 영향을 미치는가?
• RQ5 잔차 동역학이 샘플 지점에 뉴런이 축적되는 현상에 어떤 영향을 미치는가?

주요 결과

• 커널 다이나믹에서 학습은 곡률을 최소화하는 매끄러운 보간에 기여하고, 적절한 초기화에서 삼차 스플라인에 대응한다
• 적응 다이나믹에서 뉴런은 샘플 지점에 클러스터링되며 부분적으로 선형 보간(선형 스플라인) 보간을 생성한다
• 표준 파라메트릭 동역학은 잔차 진화에만 의존하는 반면, 전체 파라미터 동역학은 초기화 불변량에 의해 결정되는 측정에 따라 다르다
• 무한폭 한계에서 특정 초기화일 때 커널 해가 함수의 이차 도함수와 관련된 RKHS 유사 노름을 최소화한다
• NTK와 무작위 특징 커널은 서로 다른 규칙성을 보이며, RKHS 노름은 L2형 곡률 제어를 유도하고 L1형 총 변화 페널티가 아닌 성질을 가진다
• 규모 매개변수 alpha(m)의 변화는 모델을 게으른(커널 유사) 학습에서 활성(적응) 학습 체계로 이동시킨다
• 균등 초기화와 가우시안 초기화는 서로 다른 명시적 접선 커널을 가져오며, 균등 초기화는 삼차 스플라인 동작으로, 가우시안은 다른 커널 형태를 유도한다