[논문 리뷰] The Interpolation Phase Transition in Neural Networks: Memorization and Generalization under Lazy Training

Andrea Montanari, Yiqiao Zhong|arXiv (Cornell University)|2020. 07. 25.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 레이지 훈련 하에서 두 층 신경망의 보간 전이 현상을 분석하며, 은닉 뉴런 수와 입력 차원의 곱(Nd)이 샘플 크기(n)보다 크게 초과될 경우 신경장핵 커널(Neural Tangent kernel)이 여전히 가역적이며 일반화 오차가 자기 유도 정규화 항을 가진 커널 리지 회귀에 잘 근사됨을 보여준다. 핵심 결과는 오버파rametrization 덕분에 임의의 레이블을 정확히 보간하면서도 테스트 오차가 낮게 유지되며, 랜덤 레이블이 존재하더라도 여전히 낮은 일반화 오차를 기록할 수 있다는 점이다. 이는 NT 영역에서의 암묵적 편향 때문이며, 이는 오버파라미터화된 상태에서 커널의 안정성과 관련이 있다.

ABSTRACT

Modern neural networks are often operated in a strongly overparametrized regime: they comprise so many parameters that they can interpolate the training set, even if actual labels are replaced by purely random ones. Despite this, they achieve good prediction error on unseen data: interpolating the training set does not lead to a large generalization error. Further, overparametrization appears to be beneficial in that it simplifies the optimization landscape. Here we study these phenomena in the context of two-layers neural networks in the neural tangent (NT) regime. We consider a simple data model, with isotropic covariates vectors in $d$ dimensions, and $N$ hidden neurons. We assume that both the sample size $n$ and the dimension $d$ are large, and they are polynomially related. Our first main result is a characterization of the eigenstructure of the empirical NT kernel in the overparametrized regime $Nd\gg n$. This characterization implies as a corollary that the minimum eigenvalue of the empirical NT kernel is bounded away from zero as soon as $Nd\gg n$, and therefore the network can exactly interpolate arbitrary labels in the same regime. Our second main result is a characterization of the generalization error of NT ridge regression including, as a special case, min-$\ell_2$ norm interpolation. We prove that, as soon as $Nd\gg n$, the test error is well approximated by the one of kernel ridge regression with respect to the infinite-width kernel. The latter is in turn well approximated by the error of polynomial ridge regression, whereby the regularization parameter is increased by a `self-induced' term related to the high-degree components of the activation function. The polynomial degree depends on the sample size and the dimension (in particular on $\log n/\log d$).

연구 동기 및 목표

• 오버파라미터화된 신경망이 훈련 데이터를 정확히 보간할 수 있는 조건을 이해하는 것.
• 오버파라미터라이제이션 상태에서 신경장핵 리지 회귀의 일반화 오차를 특성화하는 것.
• 훈련 레이블을 기억함에도 불구하고 일반화 성능이 열악하지 않은 이유를 설명하는 것.
• 고차원 설정에서 신경장핵 모델과 다항 리지 회귀 간의 연결 고리를 설정하는 것.

제안 방법

• 고차원 공간에서 등방향 공분산을 가진 두 층 신경망을 신경장핵(NT) 영역에서 분석한다.
• Nd ≫ n 조건 하에서 경험적 NT 커널의 고유구조를 유도하며, 최소 고유값이 0에서 멀리 떨어져 있음을 보인다.
• 집중 부등식과 연산자 노름 한계를 사용하여 NT 커널이 무한한 너비 근사에 대해 안정적이고 잘 근사됨을 확립한다.
• NT 리지 회귀의 일반화 오차를 무한한 너비 커널에 대한 커널 리지 회귀의 일반화 오차와 연결하며, 활성화 함수의 고차 성분과 관련된 항이 포함된 효과적 정규화 매개변수를 도출한다.
• 베르누이 및 볼륨 기반 패킹 추론을 적용하여 네트워크 가중치의 커버링 수를 유계화하고 일반화 한계를 확립한다.
• n, d → ∞ 및 n과 d가 다항적으로 관련된 조건에서 渐近 분석을 수행하여 테스트 오차의 정밀한 근사치를 유도한다.

실험 결과

연구 질문

• RQ1 두 층 신경망이 N개의 은닉 유닛을 가지며 n개의 훈련 데이터 포인트를 보간할 수 있는 조건은 무엇인가?
• RQ2 네트워크가 오버파라미터라이제이션 상태(Nd ≫ n)에 있고 임의의 레이블을 보간할 경우 일반화 오차는 어떻게 행동하는가?
• RQ3 신경장핵 리지 회귀의 일반화 오차와 무한한 너비 커널에 대한 커널 리지 회귀의 일반화 오차 사이의 관계는 무엇인가?
• RQ4 레이지 훈련 영역에서의 암묵적 정규화는 보간 영역에서 일반화에 어떻게 영향을 미치는가?
• RQ5 일반화 오차는 다항 리지 회귀로 근사될 수 있는가? 만약 가능하다면 효과적 정규화 매개변수는 무엇인가?

주요 결과

• Nd ≫ n일 경우 경험적 NT 커널의 최소 고유값이 0에서 멀리 떨어져 있어, 임의의 레이블에 대한 정확한 보간이 보장된다.
• NT 리지 회귀의 일반화 오차는 무한한 너비 커널에 대한 커널 리지 회귀의 일반화 오차에 잘 근사된다.
• 해당 다항 리지 회귀 모델의 효과적 정규화 매개변수에는 활성화 함수의 고차 성분에 비례하는 자기 유도 항이 포함된다.
• 해당 회귀 모델의 다항 차수는 log n / log d 비율로 증가하며, 이는 샘플 크기와 차원 간의 상호작용을 반영한다.
• 레이블이 랜덤일 경우에도 테스트 오차가 낮게 유지되며, 이는 NT 영역의 암묵적 편향과 오버파라미터라이제이션 상태에서의 커널 안정성 때문이다.
• log n = o(min{N, d}) 조건 하에서 일반화 오차가 높은 확률로 유계가 되며, 이는 오버파라미터라이제이션에 대한 강건성을 보여준다.