[논문 리뷰] Regularization Matters: A Nonparametric Perspective on Overparametrized Neural Network

Tianyang Hu, Wenjia Wang외 2명|arXiv (Cornell University)|2020. 07. 05.

Stochastic Gradient Optimization Techniques인용 수 9

한 줄 요약

이 논문은 l(2) 정규화를 갖는 과다파rametrized ReLU 신경망에 대한 비모수적 분석을 수립하여, 정규화된 경사하강법이 최소최대 최적의 L² 추정 오차를 달성하고 신경직선핵을 통해 커널 리지 회귀에 근접함을 보여주며, 노이즈가 있는 데이터에서 일반화와 내성성을 향상시킴을 밝힘.

ABSTRACT

Overparametrized neural networks trained by gradient descent (GD) can provably overfit any training data. However, the generalization guarantee may not hold for noisy data. From a nonparametric perspective, this paper studies how well overparametrized neural networks can recover the true target function in the presence of random noises. We establish a lower bound on the L-2 estimation error with respect to the GD iterations, which is away from zero without a delicate scheme of early stopping. In turn, through a comprehensive analysis of l(2)-regularized GD trajectories, we prove that for overparametrized one-hidden-layer ReLU neural network with the l(2) regularization: (1) the output is close to that of the kernel ridge regression with the corresponding neural tangent kernel; (2) minimax optimal rate of the L-2 estimation error can be achieved. Numerical experiments confirm our theory and further demonstrate that the l(2) regularization approach improves the training robustness and works for a wider range of neural networks.

연구 동기 및 목표

• 비모수적 시각에서 과다파rametrized 신경망의 일반화 행동을 랜덤 노이즈 하에서 이해하기 위해.
• 과도하게 학습된 데이터를 학습함에도 불구하고 표준 경사하강법이 노이즈가 있는 데이터에서 일반화에 실패하는 이유를 밝히기 위해.
• 과다파rametrized 설정에서 최적의 추정을 가능하게 하는 조건을 수립하기 위해.
• 신경직선핵을 통해 정규화된 GD 궤적과 커널 리지 회귀를 연결하기 위해.
• 다양한 네트워크 아키텍처에서 이론적 결과를 수치 실험을 통해 검증하여 훈련의 내성성을 향상시키는지 확인하기 위해.

제안 방법

• 표준 경사하강법에 대한 L² 추정 오차의 하한을 유도하여, 조기 정지 없이도 영이 아닌 범위에서 유지됨을 보임.
• 과다파arametrized 한 층의 ReLU 네트워크에서 l(2)-정규화된 경사하강법 궤적을 분석함.
• 정규화된 GD의 출력이 해당 신경직선핵을 갖는 커널 리지 회귀의 해에 수렴함을 증명함.
• 정규화된 프레임워크 하에서 L² 추정 오차의 최소최대 최적성 확립.
• 노이즈 존재 하에서 추정 오차를 특성화하기 위해 비모수적 분석 기법을 활용함.
• 추정 오차를 유한하게 하기 위한 통계학적 학습 및 최적화 이론 도구를 활용하여 오차 경계를 설정하고 커널 방법과 연결함.

실험 결과

연구 질문

• RQ1 과도하게 학습된 데이터를 학습함에도 불구하고 표준 경사하강법이 노이즈가 있는 데이터에서 일반화에 실패하는 이유는 무엇인가요?
• RQ2 l(2) 정규화는 노이즈 하에서 과다파arametrized ReLU 네트워크에서 최적의 추정을 가능하게 할 수 있는가요?
• RQ3 과다파arametrized 상태에서 l(2)-정규화된 GD 궤적은 커널 리지 회귀와 어떻게 관련이 있나요?
• RQ4 l(2) 정규화를 갖는 과다파arametrized ReLU 네트워크에서 L² 추정 오차의 최소최대 최적 속도는 무엇인가요?
• RQ5 l(2) 정규화는 다양한 신경망 아키텍처에서 훈련의 내성성을 향상시키는가요?

주요 결과

• 과다파arametrized ReLU 네트워크에서 표준 경사하강법은 조기 정지 없이 노이즈가 있는 데이터에서 L² 추정 오차가 0이 되지 않으며, 이는 영이 아닌 하한을 갖는다.
• l(2)-정규화된 경사하강법은 과다파arametrized 상태에서 L² 추정 오차의 최소최대 최적 속도를 달성한다.
• l(2)-정규화된 GD의 출력은 신경직선핵을 갖는 커널 리지 회귀의 해에 밀접하게 근접한다.
• 이론적 분석은 정규화가 랜덤 노이즈 존재 하에서도 일관된 추정을 가능하게 함을 확인한다.
• 수치 실험은 이론을 검증하며 다양한 네트워크 구성에서 향상된 내성성과 일반화 성능을 보여준다.
• l(2) 정규화 접근법은 특정한 한 층의 아키텍처를 넘어서 더 넓은 과다파arametrized 네트워크 클래스로 확장 가능하다.