[논문 리뷰] Deep learning versus kernel learning: an empirical study of loss landscape geometry and the time evolution of the Neural Tangent Kernel

Stanislav Fort, Gintare Karolina Dziugaite외 4명|arXiv (Cornell University)|2020. 10. 28.

Stochastic Gradient Optimization Techniques참고 문헌 36인용 수 22

한 줄 요약

이 논문은 손실 경관 기하학과 신경미분자 커널(NTK)의 시간에 따른 진화를 분석함으로써 딥 러닝과 커널 학습을 대규모 실험적으로 비교한다. 연구 결과, 첫 2–3 에포크 동안 유니버설한 혼돈에서 안정성으로의 전이가 발생하며, 이 기간 동안 NTK는 빠르게 유용한 특징을 학습하여 초기 NTK 대비 3배 성능 향상을 이룬다. 이는 최종 학습의 안정성에 결정적인 영향을 미치며, 이후 학습은 안정화되며 전체 학습 시간의 15–45% 내에 전체 네트워크 성능에 도달한다.

ABSTRACT

In suitably initialized wide networks, small learning rates transform deep neural networks (DNNs) into neural tangent kernel (NTK) machines, whose training dynamics is well-approximated by a linear weight expansion of the network at initialization. Standard training, however, diverges from its linearization in ways that are poorly understood. We study the relationship between the training dynamics of nonlinear deep networks, the geometry of the loss landscape, and the time evolution of a data-dependent NTK. We do so through a large-scale phenomenological analysis of training, synthesizing diverse measures characterizing loss landscape geometry and NTK dynamics. In multiple neural architectures and datasets, we find these diverse measures evolve in a highly correlated manner, revealing a universal picture of the deep learning process. In this picture, deep network training exhibits a highly chaotic rapid initial transient that within 2 to 3 epochs determines the final linearly connected basin of low loss containing the end point of training. During this chaotic transient, the NTK changes rapidly, learning useful features from the training data that enables it to outperform the standard initial NTK by a factor of 3 in less than 3 to 4 epochs. After this rapid chaotic transient, the NTK changes at constant velocity, and its performance matches that of full network training in 15% to 45% of training time. Overall, our analysis reveals a striking correlation between a diverse set of metrics over training time, governed by a rapid chaotic to stable transition in the first few epochs, that together poses challenges and opportunities for the development of more accurate theories of deep learning.

연구 동기 및 목표

• 유한한 너비의 네트워크에서 딥 네트워크 학습 역학, 손실 경관 기하학, NTK 진화 간의 상호작용을 이해하는 것.
• 비선형 딥 러닝이 낮은 학습률 조건에서도 선형화된 NTK 학습보다 성능이 뛰어나지는 이유를 조사하는 것.
• 이론 및 학습 설계에 기여할 수 있는 아키텍처와 데이터셋 간의 유니버설한 역학적 패턴을 규명하는 것.
• NTK의 시간에 따른 진화 방식과 손실 경관의 구조 및 학습 성능 간의 상관관계를 측정하는 것.

제안 방법

• 다양한 아키텍처와 데이터셋을 대상으로 손실 경관 기하학, NTK 역학, 커널 속도, 오차 장벽 크기 등의 다양한 지표를 동시에 측정한다.
• 초기 상태와 중간 학습 단계에서의 NTK를 사용해 선형화된 학습을 수행하여 커널 진화를 추적한다.
• 2차까지의 테일러 전개 근사법을 사용해 선형화를 초월한 비선형 효과를 평가한다.
• 고정된 초기 NTK와 데이터 의존적 학습된 NTK를 사용해 전반적인 비선형 학습과 선형화된 NTK 학습을 비교한다.
• 자식 네트워크 생성을 통한 기능 공간의 다양성 분석을 통해 안정성과 영역 탐색 능력을 평가한다.
• 커널 속도와 오차 장벽 크기의 시간 진화를 추적하여 성능 향상과의 상관관계를 분석한다.

실험 결과

연구 질문

• RQ1 딥 네트워크 학습 중 손실 경관의 기하학은 어떻게 변화하며, 이는 최종 일반화 성능에 어떤 역할을 하는가?
• RQ2 학습 과정에서 신경미분자 커널(NTK)은 어느 정도 변화하며, 이는 초기 NTK와의 성능 비교에 어떻게 영향을 미치는가?
• RQ3 무한한 넓이에서 이론적으로 보장되는 바에도 불구하고, 왜 비선형 학습이 낮은 학습률 조건에서도 선형화된 NTK 학습을 능가하는가?
• RQ4 NTK의 시간 진화, 커널 속도, 손실 경관 내 오차 장벽 존재 여부 간의 관계는 어떠한가?
• RQ5 2–3 에포크 이내의 초기 혼돈 임시 단계가 딥 러닝에서 안정성 영역 결정에 결정적인 시기로 간주될 수 있는가?

주요 결과

• 딥 네트워크의 최종 손실 안정성 영역은 2~3 에포크 내에 결정된다. 이는 급격한 혼돈 임시 단계 동안 발생한다.
• NTK는 첫 3–4 에포크 동안 급격히 변화하며, 데이터로부터 유용한 특징을 학습하여 초기 NTK 대비 4 에포크 이내에 3배 성능 향상을 이룬다.
• 매우 낮은 학습률 조건에서도 비선형 학습은 선형화된 NTK 학습보다 성능 우위를 유지하며, 이는 유한한 너비에서 NTK 이론의 한계를 시사한다.
• 오차 장벽 크기, 커널 속도, 비선형 성능 우위는 초기 학습 단계에서 서로 밀접하게 상관관계를 이룬다.
• 초기 혼돈 임시 단계 이후 NTK는 일정한 속도로 진화하며, 전체 학습 시간의 15%~45% 내에 전체 네트워크 학습 성능에 도달한다(예: 200 에포크 중 30–90 에포크).
• 기능 공간의 다양성은 안정성 영역 간에 더 높으며, 이 차이는 안정 단계에서 SGD의 확률적 성격에 의해 제한된다.