[논문 리뷰] Limitations of the NTK for Understanding Generalization in Deep Learning

Nikhil Vyas, Yamini Bansal외 1명|arXiv (Cornell University)|2022. 06. 20.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 신경미분커널(NTK)이 딥러닝 일반화의 핵심 요소, 특히 데이터 스케일링 법칙을 포착하지 못함을 보여준다. 무한한 넓이를 가진 네트워크의 이론적으로 타당한 대체 모델임에도 불구하고, CIFAR-10 및 SVHN과 같은 실제 데이터셋에서 유한한 넓이를 가진 신경망보다 NTK의 데이터 스케일링 지수는 열악하다. 부분적인 사전학습 이후에도 마찬가지로 나타난다. 연구는 NTK가 훈련 전반에 걸쳐 지속적으로 향상됨을 드러내며, 초기 안정화된 상태에 이르는 주장과도 정면으로 배치되며, 실제 신경망의 샘플 효율성을 완전히 설명할 수 없다는 것을 시사한다.

ABSTRACT

The ``Neural Tangent Kernel'' (NTK) (Jacot et al 2018), and its empirical variants have been proposed as a proxy to capture certain behaviors of real neural networks. In this work, we study NTKs through the lens of scaling laws, and demonstrate that they fall short of explaining important aspects of neural network generalization. In particular, we demonstrate realistic settings where finite-width neural networks have significantly better data scaling exponents as compared to their corresponding empirical and infinite NTKs at initialization. This reveals a more fundamental difference between the real networks and NTKs, beyond just a few percentage points of test accuracy. Further, we show that even if the empirical NTK is allowed to be pre-trained on a constant number of samples, the kernel scaling does not catch up to the neural network scaling. Finally, we show that the empirical NTK continues to evolve throughout most of the training, in contrast with prior work which suggests that it stabilizes after a few epochs of training. Altogether, our work establishes concrete limitations of the NTK approach in understanding generalization of real networks on natural datasets.

연구 동기 및 목표

• 신경미분커널(NTK)이 실제 유한한 넓이를 가진 신경망의 일반화 행동을 정확히 반영하는지 조사하기 위해.
• 무한 NTK와 실증 NTK가 실제 신경망 훈련에서 관찰되는 데이터 스케일링 법칙과 시간 스케일링 법칙을 어느 정도 설명할 수 있는지 평가하기 위해.
• NTK가 훈련 초반에 안정화된다는 가정을 도전하기 위해.
• 현대 딥러닝 모델의 샘플 효율성과 일반화 성능을 모델링하는 데 있어 NTK 프레임워크의 근본적 한계를 규명하기 위해.

제안 방법

• 저자들은 CIFAR-10 및 SVHN과 같은 실제 데이터셋에서 유한한 넓이를 가진 신경망, 그에 대응하는 무한 NTK, 그리고 초기화 시점과 다양한 훈련 기간 후에 추출한 실증 NTK의 데이터 스케일링 행동을 비교한다.
• 로그-로그 스케일링 플롯을 사용하여 훈련 데이터 크기와 훈련 시간에 따른 모델 성능을 분석하고, 샘플 효율성을 정량화하기 위해 스케일링 지수를 측정한다.
• 실증 NTK는 여러 훈련 스텝(예: 10 에포크, 32 에포크)에서 추출되어 고정된 테스트 세트에서 재학습에 사용되어 그 표현 능력의 변화를 평가한다.
• 신경망, 무한 NTK, 실증 NTK 간에 공정한 비교를 위해 동일한 초모수(학습률, 배치 크기, 옵티마이저)를 사용하여 NTK 파arameterization 하에 테스트한다.
• 연구 결과의 탄력성을 확인하기 위해 학습률, 배치 크기, 옵티마이저에 대한 아블레이션 스터디를 수행한다.
• 시간 스케일링 분석을 통해 다양한 훈련 시간에 추출된 실증 NTK의 테스트 오차를 추적하여, 초기 포화 상태에 이르지 않고 지속적인 향상이 이루어짐을 밝힌다.

실험 결과

연구 질문

• RQ1 실증 NTK와 무한 NTK는 실제 데이터셋에서 유한한 넓이를 가진 신경망과 동일한 데이터 스케일링 지수를 보이는가?
• RQ2 실증 NTK를 일정 수의 샘플로 사전학습하면 실제 신경망과의 일반화 갭을 줄일 수 있는가?
• RQ3 실증 NTK는 훈련 초반에 안정화되는가, 아니면 훈련 전반에 걸쳐 지속적으로 향상되는가?
• RQ4 실증 NTK의 성능은 시간이 지남에 따라 어떻게 변화하며, 원래 신경망의 전체 스케일링 행동을 포괄하는가?

주요 결과

• 유한한 넓이를 가진 신경망은 CIFAR-10 및 SVHN과 같은 실제 데이터셋에서 동일한 초모수 조건 하에서도 실증 NTK와 무한 NTK보다 더 우수한 데이터 스케일링 지수를 기록한다.
• 네트워크의 넓이가 증가함에 따라 테스트 성능이 악화되고 무한 NTK의 성능에 수렴함을 확인하였으며, 이는 과도한 파rameter화가 항상 일반화 성능을 향상시킨다는 일반적 믿음과 정면으로 배치된다.
• 실증 NTK를 일정 수의 샘플로 사전학습한 후에도 여전히 해당 신경망보다 열악한 데이터 스케일링 지수를 보이며, 표현 능력의 지속적인 한계를 시사한다.
• 실증 NTK는 대부분의 훈련 과정 동안 균일하게 향상되며, 느린 학습으로의 단계 전환 현상은 관찰되지 않아, 이전 연구에서 제기된 초기 안정화 주장과도 모순된다.
• 고정된 훈련 시간 $t$ 에서 추출된 커널 $K^t_{ ext{fit}}$ 는 원래 신경망의 데이터 스케일링을 재현하지 못하며, 이는 올바른 스케일링 법칙을 포착하기 위해 전체 훈련 궤적을 필요로 함을 시사한다.
• 로그-로그 플롯에서, 훈련 중에 추출된 실증 NTK의 테스트 오차는 수렴 또는 저하 징후 없이 일관된 기울기로 지속적인 향상을 보이며, 32 에포크 이후에도 마찬가지다.