[논문 리뷰] Tensor Programs II: Neural Tangent Kernel for Any Architecture

Greg Yang|arXiv (Cornell University)|2020. 06. 25.

Stochastic Gradient Optimization Techniques참고 문헌 59인용 수 53

한 줄 요약

이 작업은 신경망의 무한 너비 한계에서 어떤 아키텍처에 대해서도 NTK가 결정론적으로 수렴함을 증명하고, 기울기 독립성 가정의 타당 시점을 명확히 하며, 실용적인 텐서-프로그램 기반 방법과 참조 구현을 제공합니다.

ABSTRACT

We prove that a randomly initialized neural network of *any architecture* has its Tangent Kernel (NTK) converge to a deterministic limit, as the network widths tend to infinity. We demonstrate how to calculate this limit. In prior literature, the heuristic study of neural network gradients often assumes every weight matrix used in forward propagation is independent from its transpose used in backpropagation (Schoenholz et al. 2017). This is known as the *gradient independence assumption (GIA)*. We identify a commonly satisfied condition, which we call *Simple GIA Check*, such that the NTK limit calculation based on GIA is correct. Conversely, when Simple GIA Check fails, we show GIA can result in wrong answers. Our material here presents the NTK results of Yang (2019a) in a friendly manner and showcases the *tensor programs* technique for understanding wide neural networks. We provide reference implementations of infinite-width NTKs of recurrent neural network, transformer, and batch normalization at https://github.com/thegregyang/NTK4A.

연구 동기 및 목표

• 무작위로 초기화된 모든 아키텍처의 네트워크가 너비가 무한대로 커지면서 결정론적 NTK 한계를 갖는다는 것을 Demonstrate합니다.
• 전제 조건에서 NTK 계산에 대해 기울기 독립성 가정이 타당한지 여부를 식별합니다(간단한 Simple GIA Check).
• Simple GIA Check가 성립하지 않을 때 GIA의 실패를 보여주고, 올바른 NTK 계산 지침을 제공합니다.
• 넓은 네트워크를 위한 텐서 프로그램을 통한 NTK 한계의 친숙한 설명을 제공합니다.
• 순환 신경망, 트랜스포머, 배치 정규화의 무한 너비 NTK에 대한 참조 구현을 제공합니다.

제안 방법

• 넓은 신경망을 분석하고 NTK 한계를 도출하기 위해 텐서 프로그램 프레임워크를 적용합니다.
• 기울기 독립성 가정(GIA)을 형식화하고 올바른 NTK 계산의 조건으로 Simple GIA Check를 확립합니다.
• 너비가 무한대로 증가할 때 어떠한 아키텍처에 대해서도 NTK가 결정론적 한계로 수렴한다는 것을 증명합니다.
• 순환 신경망, 트랜스포머, 배치 정규화에 대한 NTK 한계를 도출하고 제시합니다.
• 무한 너비 NTK를 계산하기 위한 실용적 지침과 참조 구현을 제공합니다.

실험 결과

연구 질문

• RQ1 무한 너비 한계에서 어떤 신경망 아키텍처에 대해서도 NTK가 결정론적 한계로 수렴합니까?
• RQ2 NTK 계산에 대한 기울기 독립성 가정은 어떤 조건에서 유효한가요(간단한 Simple GIA Check)?
• RQ3 RNN, 트랜스포머, 배치 정규화와 같은 특정 아키텍처에 대해 NTK 한계를 어떻게 계산할 수 있나요?
• RQ4 GIA의 실패 모드에는 어떤 것이 있으며 이것이 NTK 결과에 어떤 영향을 미치나요?
• RQ5 텐서-프로그램이 넓은 네트워크의 NTK 한계를 이해하는 친숙하고 실용적인 프레임워크를 제공할 수 있나요?

주요 결과

• NTK는 네트워크 넓이가 무한대로 커질 때 모든 아키텍처에 대해 결정론적 한계로 수렴합니다.
• Simple GIA Check는 GIA 기반 NTK 계산이 올바른지의 조건을 식별합니다.
• Simple GIA Check가 실패하면 GIA가 잘못된 NTK 결과를 낳을 수 있습니다.
• 이 논문은 텐서 프로그램을 사용한 NTK 결과의 친숙한 해설을 제공합니다.
• RNN, 트랜스포머, 배치 정규화의 무한 너비 NTK에 대한 참조 구현이 제공됩니다.