[논문 리뷰] What can linearized neural networks actually say about generalization?

Guillermo Ortiz-Jiménez, Seyed-Mohsen Moosavi-Dezfooli외 1명|arXiv (Cornell University)|2021. 06. 12.

Neural Networks and Applications참고 문헌 44인용 수 14

한 줄 요약

이 논문은 다양한 작업에서 신경망과 그 선형화된 대응체를 비교함으로써 딥러닝에서 일반화를 위한 신경미분핵(kernel, NTK) 근사의 실용적 타당성을 조사한다. 연구 결과, NTK 정렬이 학습 복잡도를 예측하지만, 비선형 동역학은 네트워크가 선형 근사보다 성능이 열 劣할 수 있음을 드러내며, 이는 커널 회전으로 인한 과적합을 유도하기 때문이다. 이는 비선형 모델이 항상 커널보다 성능이 뛰어나다는 가정에 도전한다.

ABSTRACT

For certain infinitely-wide neural networks, the neural tangent kernel (NTK) theory fully characterizes generalization, but for the networks used in practice, the empirical NTK only provides a rough first-order approximation. Still, a growing body of work keeps leveraging this approximation to successfully analyze important deep learning phenomena and design algorithms for new applications. In our work, we provide strong empirical evidence to determine the practical validity of such approximation by conducting a systematic comparison of the behavior of different neural networks and their linear approximations on different tasks. We show that the linear approximations can indeed rank the learning complexity of certain tasks for neural networks, even when they achieve very different performances. However, in contrast to what was previously reported, we discover that neural networks do not always perform better than their kernel approximations, and reveal that the performance gap heavily depends on architecture, dataset size and training task. We discover that networks overfit to these tasks mostly due to the evolution of their kernel during training, thus, revealing a new type of implicit bias.

연구 동기 및 목표

• 실제 신경망의 일반화를 예측하는 데 있어 NTK 근사의 실용적 타당성을 평가하기 위해.
• 비선형성에도 불구하고 신경망이 선형 근사보다 성능이 열 劣하는 이유를 조사하기 위해.
• 학습 중 커널의 진화가 일반화 행동을 어떻게 형성하는지 규명하기 위해.
• 초기화 시 NTK 정렬이 다양한 작업의 학습 복잡도를 순위 매길 수 있는지 확인하기 위해.
• 특히 커널 회전을 포함한 비선형 동역학이 유도하는 인도적 편향(inductive bias)의 역할을 밝혀내기 위해.

제안 방법

• 동일한 데이터이지만 다른 레이블 함수를 가진 여러 작업에서 깊은 신경망과 그 선형화된 근사값(1차 테일러 전개를 통한)의 성능을 체계적으로 비교하기 위해.
• 학습 복잡도를 예측하기 위해 초기화 시 목표 함수와 경험적 NTK 간의 정렬도를 측정하기 위해.
• 학습 중 NTK의 진화를 분석하기 위해 고유함수 분해를 사용하여 커널의 회전 동역학을 추적하기 위해.
• 다양한 학습 에포크(예: 0, 100)에서 커널 행렬을 추출하고 동일한 작업에서 선형화된 모델의 성능 변화를 평가하기 위해.
• 일반화 행동을 분리하기 위해 학습된 특징의 부호 함수(예: $\operatorname{sign}(\phi_{400}(\mathbf{x}))$)와 같은 통제된 작업을 사용하기 위해.
• 커널의 주요 방향으로의 회전을 분석하고, 과적합 및 테스트 정확도와의 상관관계를 분석하기 위해.

실험 결과

연구 질문

• RQ1 초기화 시 NTK 정렬이 깊은 신경망의 다양한 작업 간 상대적 학습 복잡도를 예측할 수 있는가?
• RQ2 비선형 능력이 있음에도 불구하고 신경망이 선형 근사보다 성능이 열 劣하는 조건은 무엇인가?
• RQ3 학습 중 경험적 NTK의 진화가 일반화와 과적합에 어떤 영향을 미치는가?
• RQ4 커널 회전이 깊은 신경망의 비선형 이점 또는 열 劣에 어떤 역할을 하는가?
• RQ5 신경망과 그 선형 근사 간의 성능 격차는 아키텍처, 데이터셋 크기, 또는 작업 구조에 의해 결정되는가?

주요 결과

• 초기화 시 목표 함수와 경험적 NTK 간의 정렬도는 다양한 작업 간 상대적 학습 복잡도를 신뢰성 있게 예측할 수 있다.
• 특정 작업에서는 신경망이 선형 근사보다 성능이 열 劣할 수 있으며, 특히 학습 작업이 네트워크의 인도적 편향과 일치하지 않을 경우에 그렇다.
• 비선형 사전학습을 통해 잘못된 작업에 대해 커널을 추출할 경우 선형화된 모델의 성능이 급격히 악화되며, 이는 비선형 동역학이 일반화를 해칠 수 있음을 시사한다.
• 학습 중 경험적 NTK는 주로 하나의 주요 축을 따라 회전하며, 이는 과적합과 테스트 정확도 감소와 강하게 상관된다.
• 커널 회전 메커니즘은 목표 함수의 구조에 따라 네트워크가 빠르게 학습 레이블에 수렴하지만 일반화가 열 劣할 수 있음을 설명한다.
• 이 연구는 새로운 종류의 인도적 편향을 규명한다: 학습 중 NTK가 한 방향으로만 회전하는 경향으로, 이는 작업에 따라 일반화를 향상시키거나 악화시킬 수 있다.