[논문 리뷰] Neural Networks and Polynomial Regression. Demystifying the Overparametrization Phenomena

Matt Emschwiller, David Gamarnik외 2명|arXiv (Cornell University)|2020. 03. 23.

Tensor decomposition and applications참고 문헌 24인용 수 7

한 줄 요약

이 논문은 과다 매개변수화된 신경망의 일반화를 설명하는 새로운 이론을 제안한다. 실험 데이터를 정확히 보간하는 모든 모델은 데이터 차원과 목표 정확도에만 의존하는 임계값을 초과하는 표본 크기를 가질 경우 잘 일반화됨을 보여준다. 이는 모델의 넓이에 따라 달라지지 않는다. 핵심 통찰은 교사 및 학생 신경망 모두 낮은 차수의 다항식(텐서) 회귀 모델로 근사 가능하다는 점이며, 이는 일반화 성능이 은닉 유닛 수가 아니라 회귀 계수의 복잡도에 의해 결정된다는 것을 시사한다.

ABSTRACT

In the context of neural network models, overparametrization refers to the phenomena whereby these models appear to generalize well on the unseen data, even though the number of parameters significantly exceeds the sample sizes, and the model perfectly fits the in-training data. A conventional explanation of this phenomena is based on self-regularization properties of algorithms used to train the data. In this paper we prove a series of results which provide a somewhat diverging explanation. Adopting a teacher/student model where the teacher network is used to generate the predictions and student network is trained on the observed labeled data, and then tested on out-of-sample data, we show that any student network interpolating the data generated by a teacher network generalizes well, provided that the sample size is at least an explicit quantity controlled by data dimension and approximation guarantee alone, regardless of the number of internal nodes of either teacher or student network. Our claim is based on approximating both teacher and student networks by polynomial (tensor) regression models with degree depending on the desired accuracy and network depth only. Such a parametrization notably does not depend on the number of internal nodes. Thus a message implied by our results is that parametrizing wide neural networks by the number of hidden nodes is misleading, and a more fitting measure of parametrization complexity is the number of regression coefficients associated with tensorized data. In particular, this somewhat reconciles the generalization ability of neural networks with more classical statistical notions of data complexity and generalization bounds. Our empirical results on MNIST and Fashion-MNIST datasets indeed confirm that tensorized regression achieves a good out-of-sample performance, even when the degree of the tensor is at most two.

연구 동기 및 목표

• 과다 매개변수화된 신경망에서 일반화를 설명하는 데 있어 일반적인 자가정규화 이론에 도전하기 위해.
• 보간하는 신경망의 일반화 성능이 모델의 넓이가 아니라 데이터 차원과 근사 정확도에 의해 결정됨을 입증하기 위해.
• 은닉 유닛 수보다도 다항식(텐서) 회귀가 모델 복잡도를 더 정확하게 측정할 수 있음을 보여주기 위해.
• 텐서화된 회귀를 통해 신경망의 일반화를 고전적 통계 이론의 일반화 경계와 조화시키기 위해.
• 실제 데이터셋인 MNIST와 Fashion-MNIST에서 낮은 차수의 텐서화된 회귀가 뛰어난 일반화 성능을 보임을 실증적으로 검증하기 위해.

제안 방법

• 교사가 레이블을 생성하고 학생이 이를 정확히 보간하도록 하는 교사/학습자 프레임워크를 도입한다.
• 교사 및 학생 네트워크를 네트워크 깊이와 목표 정확도에만 의존하는 차수의 다항식 회귀 모델로 근사한다.
• 텐서화된 모델의 회귀 계수 수가 일반화 성능을 결정하며, 은닉 유닛 수는 아님을 보여준다.
• 다항식 회귀 설정에서 설계 행렬의 조건수 분석을 통해 일반화 경계를 수립한다.
• 직교 다항식 전개와 행렬 분해 기법을 사용하여 회귀 설계의 안정성과 역행렬 가능성을 제어한다.
• 표본 크기가 데이터 차원과 목표 오차에만 의존하는 임계값을 초과할 경우, 임의의 보간 학생 네트워크가 높은 확률로 유한한 일반화 오차를 갖는다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 과다 매개변수화된 신경망의 일반화는 알고리즘적 자가정규화에 의존하지 않고 설명될 수 있는가?
• RQ2 모델의 파라미터 수(예: 은닉 유닛 수)가 진정으로 일반화를 결정하는가, 아니면 더 근본적인 복잡도 측정 기준이 있는가?
• RQ3 다항식(텐서) 회귀 모델이 신경망을 충분히 정확하게 근사하여 일반화 행동을 설명할 수 있는가?
• RQ4 모델의 넓이에 관계없이, 어떤 보간 신경망도 잘 일반화하기 위해 필요한 최소 표본 크기는 얼마인가?
• RQ5 낮은 차수의 텐서화된 회귀가 MNIST 및 Fashion-MNIST와 같은 실제 데이터셋에서 뛰어난 일반화 성능을 보이는가?

주요 결과

• 모든 학생 네트워크가 학습 데이터를 정확히 보간할 경우, 표본 크기가 $ N^* = d^{O\big((L/\nu)^L\big)} $를 초과하면 잘 일반화된다. 여기서 $ d $는 데이터 차원, $ L $은 네트워크 깊이, $ \nu $는 목표 일반화 오차를 제어하는 요소이다.
• ReLU 네트워크의 경우 필요한 표본 크기는 $ d^{O\big((L/\nu)^L\big)} $로 증가하고, 시그모이드 네트워크의 경우 $ d^{O\big(\text{polylog}(L/\nu)\big)} $로 증가하여 데이터 효율성에 상당한 차이가 있음을 보여준다.
• 일반화 오차는 교사 또는 학생 네트워크의 은닉 유닛 수와 관계없이 $ \nu $ 이하로 제한되며, 이는 넓이가 일반화의 주요 원인이 아님을 시사한다.
• 실증 결과는 차수 2 이하의 텐서화된 회귀가 MNIST 및 Fashion-MNIST에서 강력한 일반화 성능을 보임을 확인하여 이론적 주장과 일치한다.
• $ \ell_1 $-노름이 $ d^{\beta} \|a^*\nolimits_{\ell_1}\| $ 이하로 제한되며, 이는 모델 복잡도가 넓이가 아니라 데이터 차원에 의해 제어됨을 보여준다. 여기서 $ \beta > 0 $이다.
• 높은 확률 $ 1 - \exp(-cN^{1/3}) $ 하에, 학생 네트워크의 가중치 노름은 교사와 비교해 유한하게 유지되며, 이는 일반화를 보장한다.