[논문 리뷰] Benign Overfitting in Two-layer Convolutional Neural Networks

Yuan Cao, Zixiang Chen외 2명|arXiv (Cornell University)|2022. 02. 14.

Model Reduction and Neural Networks인용 수 20

한 줄 요약

본 논문은 그래디언트 강하로 학습된 2층 CNN에서 양성 과적합과 해로운 과적합을 분석하고, 신호-잡음 비(SNR)에 의해 주도되는 급격한 위상 전이를 확립한다.

ABSTRACT

Modern neural networks often have great expressive power and can be trained to overfit the training data, while still achieving a good test performance. This phenomenon is referred to as "benign overfitting". Recently, there emerges a line of works studying "benign overfitting" from the theoretical perspective. However, they are limited to linear models or kernel/random feature models, and there is still a lack of theoretical understanding about when and how benign overfitting occurs in neural networks. In this paper, we study the benign overfitting phenomenon in training a two-layer convolutional neural network (CNN). We show that when the signal-to-noise ratio satisfies a certain condition, a two-layer CNN trained by gradient descent can achieve arbitrarily small training and test loss. On the other hand, when this condition does not hold, overfitting becomes harmful and the obtained CNN can only achieve a constant level test loss. These together demonstrate a sharp phase transition between benign overfitting and harmful overfitting, driven by the signal-to-noise ratio. To the best of our knowledge, this is the first work that precisely characterizes the conditions under which benign overfitting can occur in training convolutional neural networks.

연구 동기 및 목표

• 과도한 매개변수화된 네트워크가 데이터를 적합시키고 실제로 일반화할 수 있는 이유를 이해하려는 모티브(benign overfitting).
• 과적합에도 불구하고 작은 훈련 손실과 테스트 손실을 달성할 수 있는 2층 CNN의 조건을 규명한다.
• CNN 학습을 신호-잡음 분해를 이용한 비-NTK(비 NTK) 알고리즘적 분석을 제공한다.
• 위상 전이를 구분하기 위한 긍정적(양성) 및 부정적(해로운) 결과를 모두 제시한다.
• 신경망의 비볼록 학습 역학을 분석하기 위한 방법론적 도구를 도입한다.

제안 방법

• 고정된 2층 CNN(두 번째 층 매개변수는 (+1, -1)로 고정)과 다항식 ReLU 활성화 σ(z) = max{0,z}^q, q>2를 고려한다.
• 필터를 초기화, 신호 벡터 μ, 잡음 벡터 ξ_i로 구성된 신호-잡음 분해를 사용한다.
• 학습을 신호 학습과 잡음 Memorization을 추적하는 γ, ρ̄, ρ̲의 계수들의 이산 동역학 시스템으로 프레이밍한다.
• 단계 1은 손실 도함수가 일정한 상태에서의 신호 학습을 보이고; 단계 2는 작은 훈련 손실과 작은 테스트 손실로의 수렴을 분석한다.
• n*SNR^q = Ω(1)일 때의 모집단 손실 상한을 도출하여 테스트 손실이 작아지는 것을 보여주고, 보완적으로 n^{-1}*SNR^{-q} = Ω(1)일 때 상수가 되는 테스트 손실을 나타낸다.
• NTK 결과와 비교하면 이 분석은 NTK 영역에 있지 않으며, 초기화에서 다항식의 m에 비례하여 W^(t)가 이동하는 것을 허용한다.

실험 결과

연구 질문

• RQ1 그래디언트 강하로 학습된 2층 CNN이 어떤 데이터 및 모델 조건에서 양성 과적합을 달성하는가?
• RQ2 신호-잡음 비가 샘플 크기와 네트워크 너비와 어떻게 상호 작용하여 신호 학습 대 노이즈 memorization을 결정하는가?
• RQ3 커널/NTK 영역을 넘어서 양성 과적합과 해로운 과적합 사이의 위상 전이를 어떻게 특징지을 수 있는가?
• RQ4 학습 중 신호-잡음 분해의 동역학은 훈련 및 테스트 손실에 어떤 영향을 주는가?

주요 결과

• 양성 과적합(모집단 손실이 작은)과 해로운 과적합(모집단 손실이 상수인) 사이의 급격한 위상 전이가 SNR 영역에 의해 주도된다.
• n * SNR^q = Ω(1)일 때 CNN은 신호를 학습하고 훈련 손실과 테스트 손실이 모두 작아진다(ε까지).
• n^{-1} * SNR^{-q} = Ω(1)일 때 CNN은 노이즈를 기억하고 작은 훈련 손실에도 불구하고 테스트 손실이 상수 차수로 나타난다.
• 분석은 양성 영역에서 모집단 위험을 n에 대해 지수적으로 작게 만드는 경향이 있어 고차원 일반적인 경계보다 개선된 경향을 보인다.
• 이 결과는 신경망 NTK 영역을 넘어 서며, 새로운 신호-잡음 분해 및 2단계 학습 분석에 의존한다.