[논문 리뷰] More is Better in Modern Machine Learning: when Infinite Overparameterization is Optimal and Overfitting is Obligatory

James B. Simon, Dhruva Karkada외 2명|arXiv (Cornell University)|2023. 11. 24.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 과다 파rameter화된 딥 러닝의 경험적 성공을 이론적으로 정당화하며, 랜덤 특징 회귀에서 모델의 폭과 훈련 데이터 크기를 증가시킬수록 테스트 오차가 단조롭게 감소함을 보여주고, 무한한 폭이 최적이 됨을 밝힌다. 또한 실생활의 시각 작업에서 흔한 파wr-법 고유구조를 가진 작업의 경우 최적의 성능을 내기 위해 근처에서의 훈련 오차가 매우 낮아야 하며, 이는 과적합이 단지 용납 가능한 것이 아니라 필수적임을 시사한다.

ABSTRACT

In our era of enormous neural networks, empirical progress has been driven by the philosophy that more is better. Recent deep learning practice has found repeatedly that larger model size, more data, and more computation (resulting in lower training loss) improves performance. In this paper, we give theoretical backing to these empirical observations by showing that these three properties hold in random feature (RF) regression, a class of models equivalent to shallow networks with only the last layer trained. Concretely, we first show that the test risk of RF regression decreases monotonically with both the number of features and the number of samples, provided the ridge penalty is tuned optimally. In particular, this implies that infinite width RF architectures are preferable to those of any finite width. We then proceed to demonstrate that, for a large class of tasks characterized by powerlaw eigenstructure, training to near-zero training loss is obligatory: near-optimal performance can only be achieved when the training error is much smaller than the test error. Grounding our theory in real-world data, we find empirically that standard computer vision tasks with convolutional neural tangent kernels clearly fall into this class. Taken together, our results tell a simple, testable story of the benefits of overparameterization, overfitting, and more data in random feature models.

연구 동기 및 목표

• 더 큰 모델, 더 많은 데이터, 더 낮은 훈련 손실이 성능을 향상시키는 딥 러닝의 경험적 경향을 이론적으로 정당화하기 위해.
• 실제로 과다 파arameter화되고 정규화되지 않은 모델이 고전적 정규화 모델보다 성능이 뛰어나게 되는 역설을 해결하기 위해.
• 최적의 일반화가 근처에서의 훈련 오차를 매우 낮추는 것을 요구하는 광범위한 학습 작업의 클래스를 특정하기 위해.
• 표준 컴퓨터 비전 작업이 요구되는 파워-법 고유구조를 갖추고 있음을 검증함으로써 이론적 결과를 실제 딥 러닝에 연결하기 위해.

제안 방법

• 오직 마지막 레이어만 훈련되는 얕은 신경망의 대리 모델로 랜덤 특징(RF) 회귀를 분석한다.
• 특수한 릿지 정규화 하에서 작업의 고유구조에 따라 훈련 오차와 테스트 오차의 닫힌 형태 표현식을 유도한다.
• 고차원 및 과다 파arameter화된 영역에서 일반화 오차를 기술하기 위해 가우시안 복잡도와 커널 릿지 회귀(KRR) 이론을 사용한다.
• 최적의 테스트 오차를 달성하기 위해 훈련 오차가 테스트 오차보다 훨씬 낮아야 하는 '필수 과적합(obl sufficient overfitting)' 개념을 도입한다.
• 최적의 정규화 하에서 점점 증가하는 폭과 표본 크기와 함께 테스트 리스크가 단조롭게 감소함을 보여주는 渐近 분석을 적용한다.
• 표준 비전 벤치마크에서 컨volutional 신경 터닝 커널의 고유구조를 실증적으로 분석함으로써 이론적 예측을 검증한다.

Figure 1: At optimal ridge, more features monotonically improves test performance. Train and test errors for RF regression closely match Equations 3 and 4 for both synthetic Gaussian data and CIFAR10 with random ReLU features. Plots show traces with $n=256$ samples and varying number of features $k$

실험 결과

연구 질문

• RQ1 과다 파arameter화된 모델에서 모델의 폭과 훈련 데이터 크기를 늘릴수록 항상 테스트 오차가 향상되는가?
• RQ2 어떤 조건에서 과적합이 단지 견딜 수 있는 것이 아니라 최적의 일반화를 위해 필수적인가?
• RQ3 딥 러닝에서 '더 많은 것이 더 좋다'는 현상이 광범위한 학습 작업의 클래스에 대해 이론적으로 정당화될 수 있는가?
• RQ4 실제 컴퓨터 비전 작업이 무한한 과다 파arameter화와 근처에서의 훈련 오차 최소화가 최적이 되는 데 필요한 고유구조적 특성을 갖추고 있는가?
• RQ5 '유해한 과적합(benign overfitting)'과 '필수 과적합(obligatory overfitting)' 사이에 최적 성능을 위한 필요성 측면에서 이론적 차이가 존재하는가?

주요 결과

• 랜덤 특징 회귀에서 릿지 정규화가 최적으로 조정된 경우, 테스트 리스크는 특징 수와 훈련 샘플 수가 증가함에 따라 단조롭게 감소하며, 이는 무한한 폭이 최적이 됨을 시사한다.
• 고유값이 파워-법으로 감소하는 파워-법 고유구조를 가진 작업의 경우, 최적의 일반화를 위해서는 훈련 오차가 테스트 오차보다 훨씬 낮아야 하며, 이는 과적합이 필수적임을 의미한다.
• 모델의 폭이 증가함에 따라 최적의 피팅 비율(훈련 오차 / 테스트 오차)은 0에 수렴하며, 이는 이 클래스의 작업에서 보간이 단지 해로운 것이 아니라 최적 성능을 위한 필수 조건임을 나타낸다.
• 표준 비전 작업에서 컨볼루션 신경 터닝 커널의 고유구조를 실증적으로 분석한 결과 파워-법 고유구조가 확인되어, 무한한 과다 파arameter화와 근처에서의 훈련 오차 최소화가 최적이 되는 이론적 조건이 검증되었다.
• 핵심 오차 추정식은 커널 고유값과 가우시안 복잡도에 기반한 닫힌 형태로 유도되었으며, 파워-법 지수에 대한 온건한 가정 하에 엄밀한 渐近 경계가 확보되었다.
• 분석 결과 과다 파arameter화의 이점은 점점 증가하는 것이 아니라 즉각적인 것으로 나타났다: 유한하지만 큰 폭조차도 더 작은 폭보다 성능이 뛰어나며, 성능 향상은 폭과 데이터 크기와 함께 단조롭게 증가한다.

Figure 2: Overfitting is obligatory in standard computer vision tasks. We run KRR with convolutional NTKs on three tasks using varying ridge parameter and label noise, measuring test error and the fitting ratio $\mathcal{R}_{\textnormal{tr}/\textnormal{te}}$ . We then compare to theoretical predicti