[논문 리뷰] Kernel and Rich Regimes in Overparametrized Models

Blake Woodworth, Suriya Gunasekar외 6명|arXiv (Cornell University)|2019. 06. 13.

Stochastic Gradient Optimization Techniques참고 문헌 33인용 수 66

한 줄 요약

이 논문은 overparameterized 모델에서 kernel (lazy) 및 rich (active) regimes를 분석하고, 초기화 스케일이 전이를 어떻게 제어하며 일반화에 어떤 영향을 주는지, 깊이-D 모델에 대한 상세한 분석과 실험 검증을 제시한다.

ABSTRACT

A recent line of work studies overparametrized neural networks in the "kernel regime," i.e. when the network behaves during training as a kernelized linear predictor, and thus training with gradient descent has the effect of finding the minimum RKHS norm solution. This stands in contrast to other studies which demonstrate how gradient descent on overparametrized multilayer networks can induce rich implicit biases that are not RKHS norms. Building on an observation by Chizat and Bach, we show how the scale of the initialization controls the transition between the "kernel" (aka lazy) and "rich" (aka active) regimes and affects generalization properties in multilayer homogeneous models. We also highlight an interesting role for the width of a model in the case that the predictor is not identically zero at initialization. We provide a complete and detailed analysis for a family of simple depth-$D$ models that already exhibit an interesting and meaningful transition between the kernel and rich regimes, and we also demonstrate this transition empirically for more complex matrix factorization models and multilayer non-linear networks.

연구 동기 및 목표

• 커널 regime 너머의 overparametrized 신경망 연구의 동기를 제시하고 초기화가 regime 동작에 어떤 영향을 미치는지 탐구한다.
• 다층 동질 모델에서 커널과 rich regimes 간의 전이를 특성화한다.
• 간단한 depth-D 계열 모델의 완전한 분석을 제공하여 regime 전이를 드러낸다.
• 매트릭스 분해 모델과 다층 네트워크에서 실험적으로 regime 전이를 시연한다.

제안 방법

• 초기화 스케일이 overparameterized 모델에서 kernel 대 rich regime 동작을 결정한다는 관찰을 활용한다.
• 커널–rich 전이를 포착하기 위해 depth-D 모델 계열에 대한 형식적 분석을 개발한다.
• RKHS 노름과 비-RKHS 암묵 편향을 통해 두 regime에서 그래디언트 하강법이 일반화에 어떻게 편향을 주는지 분석한다.
• 이 프레임워크를 매트릭스 분해와 다층 네트워크로 확장하여 전이에 대한 실증적 증거를 보여준다.
• 초기화 시 예측 변수가 0이 아닌 경우 모델 너비의 역할을 조사한다.

실험 결과

연구 질문

• RQ1 초기화 스케일이 훈련이 kernel (lazy) 또는 rich (active) regime 중 어느 쪽에서 작동하는지에 어떤 영향을 미치는가?
• RQ2 이 전이가 깊은 동질 모델의 일반화에 대해 이론적으로 시사하는 바는 무엇인가?
• RQ3 초기화 시 예측 변수가 0이 아닌 경우 모델 너비가 regime 동작에 어떤 영향을 미치는가?
• RQ4 간단한 depth-D 모델이 커널-to-rich dynamics를 반영하는 의미 있는 전이를 보이며, 이를 더 복잡한 아키텍처에서도 관찰할 수 있는가?
• RQ5 매트릭스 분해 및 다층 네트워크에 대한 실증 결과가 제안된 kernel–rich 전이 프레임워크와 일치하는가?

주요 결과

• 초기화 스케일은 다층 동질 모델에서 kernel과 rich regimes 사이의 전이를 제어한다.
• 초기화 시 예측 변수가 0이 아니면 모델의 너비가 regime 동작에 영향을 줄 수 있다.
• 간단한 depth-D 계열 모델에 대한 완전한 분석은 의미 있는 kernel–rich 전이를 드러낸다.
• 매트릭스 분해 모델에 대한 실증 시연은 더 복잡한 네트워크에서 전이의 존재를 뒷받침한다.