[논문 리뷰] A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks

Zixiang Chen, Yuan Cao외 2명|arXiv (Cornell University)|2020. 02. 10.

Neural Networks and Applications참고 문헌 63인용 수 16

한 줄 요약

이 논문은 노이즈가 있는 경사하강법과 가중치 감소를 사용해 훈련되는 두 층 신경망으로 신경미분핵(kernel, NTK) 프레임워크를 확장하며, 이러한 정규화된 훈련 방식이 여전히 커널 유사 동역학을 보임을 보여준다. 저자들은 근사 최적 해로의 선형 수렴을 확립하고, 초기화 분포에 대한 χ²-발산을 기반으로 한 일반화 오차 한계를 도출하여, 기존 NTK 이론이 가중치가 초기화 근처에 머물러야 한다는 가정으로 인해 정규화 항이나 경사 노이즈를 다룰 수 없었던 한계를 극복한다.

ABSTRACT

A recent breakthrough in deep learning theory shows that the training of over-parameterized deep neural networks can be characterized by a kernel function called extit{neural tangent kernel} (NTK). However, it is known that this type of results does not perfectly match the practice, as NTK-based analysis requires the network weights to stay very close to their initialization throughout training, and cannot handle regularizers or gradient noises. In this paper, we provide a generalized neural tangent kernel analysis and show that noisy gradient descent with weight decay can still exhibit a "kernel-like" behavior. This implies that the training loss converges linearly up to a certain accuracy. We also establish a novel generalization error bound for two-layer neural networks trained by noisy gradient descent with weight decay.

연구 동기 및 목표

• 표준 NTK 이론의 한계를 해결하기 위해, 네트워크 가중치가 초기화 근처에 머물러야 한다는 가정이 있으며, 정규화나 경사 노이즈를 다룰 수 없다는 점을 다루기 위함.
• NTK 프레임워크를 가중치 감소와 노이즈가 있는 경사하강법을 포함한 더 현실적인 훈련 설정으로 확장하기 위함.
• 과다 매개변수화된 두 층 신경망이 이러한 정규화된 설정 하에서 선형 수렴과 일반화 경계 보장을 보장하는 이론적 보장을 확립하기 위함.
• 매개변수의 초기화 근접성 요구 조건을 평균장 한계에서 분포의 유사성으로 완화하기 위함.

제안 방법

• 두 층 신경망의 훈련 중 매개변수 분포의 진화를 모델링하기 위해 평균장 분석을 사용한다.
• 노이즈가 있는 경사하강법과 가중치 감소 하에 매개변수 분포를 지배하는 연속 시간 Fokker-Planck 방정식을 분석하여 일반화된 신경미분핵을 도출한다.
• 진행 중인 매개변수 분포와 초기 분포 간의 KL 발산에 대한 미분 방정식을 유도하며, 적절한 조건 하에서 감소함을 보인다.
• Meir와 Zhang(2003)의 증명 기법을 이산 분포에서 연속 분포로 확장하여 일반화 경계를 도출한다.
• 평균장 영역에서 커널 유사 행동의 동역학을 분석함으로써, 훈련 손실이 특정 정확도 이내에서 선형 수렴함을 증명한다.
• 무한히 넓은 네트워크에서 가중치 감소와 노이즈 하에 학습 가능한 함수의 클래스를 χ²-발산으로 특성화하며, 일반화 경계에 명시적인 정규화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 가중치 감소와 경사 노이즈가 있는 설정에서 매개변수 초기화에서 멀어질 수 있는 상황에서도 신경미분핵 프레임워크를 확장할 수 있는가?
• RQ2 가중치 감소와 함께 노이즈가 있는 경사하강법이 과다 매개변수화된 두 층 신경망에서 여전히 커널 유사 훈련 동역학을 보이는가?
• RQ3 표준 NTK 영역을 초월해 가중치 감소와 노이즈로 훈련된 두 층 신경망에 대해 유도할 수 있는 일반화 오차 경계는 무엇인가?
• RQ4 매개변수의 초기화 근접성 요구 조건을 평균장 한계에서 분포의 유사성으로 대체할 수 있는가?
• RQ5 초기화 분포에 대한 χ²-발산을 사용함으로써, 정규화 하에 있는 넓은 신경망의 일반화 능력은 어떻게 영향을 받는가?

주요 결과

• 가중치 감소와 함께 노이즈가 있는 경사하강법은 네트워크 매개변수가 초기화에서 크게 벗어나도 훈련 손실이 특정 정확도 이내에서 선형 수렴함을 보였다.
• 일반화 오차 경계는 최종 매개변수 분포와 초기화 분포 간의 χ²-발산을 기반으로 유도되었으며, 이는 정규화를 명시적으로 다룰 수 있게 해준다.
• 매개변수 이동의 기술적 장벽을 극복하기 위해 매개변수 근접성 대신 분포 안정성에 초점을 맞춘 분석이 제안되었다.
• 표준 NTK 경계보다 더 날카롭고 현실적인 일반화 경계를 확보하였으며, 이는 가중치 감소와 같은 명시적 정규화를 반영하기 때문이다.
• 증명 기법은 Meir와 Zhang(2003)의 기법을 이산 분포에서 연속 분포로 확장하였으며, 통계학적 학습 이론 분야에서 별도의 관심을 끌 수 있다.
• 이론적 결과는 연속 시간 한계에서 검증되었으며, Mei 등(2018)의 근사 결과를 통해 이산 시간 설정으로의 확장도 가능하다.