[논문 리뷰] Neural tangent kernels, transportation mappings, and universal approximation

Ziwei Ji, Matus Telgarsky외 1명|arXiv (Cornell University)|2020. 04. 30.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 12

한 줄 요약

이 논문은 표적 함수를 무한한 너비의 선형화된 네트워크로 모델링하고, 무작위 초기화로부터 유도된 운반 매핑을 통해 가중치를 도출함으로써 신경미분커널(NTK)에 대한 보편적 근사율을 수립한다. 높은 확률로, 초기 가중치를 O(B/(eps * sqrt(m)))만큼 변형하면, 표적 함수 및 해당 얕은 네트워크 양쪽 모두에 대해 (sqrt(eps) + B/sqrt(eps * m))^2 이내의 NTK 근사가 가능하며, 이는 기존 얕은 네트워크의 성능과 일치하며, 보편적 근사가 NTK 영역 내에서 본질적인 특성임을 시사한다.

ABSTRACT

This paper establishes rates of universal approximation for the neural tangent kernel (NTK) in the standard setting of microscopic changes to initial weights. Concretely, given a target function f, a target width m, and a target approximation error eps>0, then with high probability, moving the initial weight vectors a distance B/(eps * sqrt{m}) will give a linearized finite-width NTK which is (sqrt(eps) + B/sqrt(eps * m))^2-close to both the target function f, and also the shallow network which this NTK linearized. The constant B can be independent of eps --- particular cases studied here include f having good Fourier transform or RKHS norm --- though in the worse case it scales roughly as 1/eps^d for general continuous functions. The method of proof is to rewrite f with equality as an infinite-width linearized network whose weights are a transport mapping applied to random initialization, and to then sample from this transport mapping. This proof therefore provides another perspective on the scaling behavior of the NTK: redundancy in the weights due to resampling allows weights to be scaled down. Since the approximation rates match those in the literature for shallow networks, this work implies that universal approximation is not reliant upon any behavior outside the NTK regime.

연구 동기 및 목표

• 유한한 너비와 선형화된 영역에서 신경미분커널(NTK)의 정량적 보편적 근사율을 수립하는 것.
• 근사 오차가 표적 함수의 복잡성, 네트워크 너비 m, 그리고 원하는 정밀도 eps에 따라 어떻게 의존하는지 이해하는 것.
• NTK 영역에서의 보편적 근사가 선형화된 커널을 초월한 동역학을 필요로 하지 않으며, 얕은 네트워크 성능과 일치함을 보여주는 것.
• 재표본화와 운반 매핑을 통한 가중치 중복성의 해석을 통해 NTK 스케일링에 대한 새로운 시각을 제공하는 것.

제안 방법

• 표적 함수 f를 무한한 너비의 선형화된 네트워크로 재작성하며, 이 네트워크의 가중치는 무작위 초기 가중치 벡터에 운반 매핑을 적용하여 유도된다.
• 운반 매핑를 정의함으로써, 결과적으로 무한한 너비의 네트워크가 정확히 f를 표현하도록 하여 표적 함수의 정확한 분해를 가능하게 한다.
• 운반 매핑에서 샘플링하여 유한한 너비의 NTK 근사치를 구성함으로써, 높은 확률로 근사 보장을 확보한다.
• 유한한 너비의 NTK와 f, 그리고 해당 얕은 네트워크 사이의 근사 오차를 (sqrt(eps) + B/sqrt(eps * m))^2 식으로 경계한다.
• 함수 성질(예: 푸리에 변환 행동 또는 RKHS 노름)을 바탕으로 상수 B를 분석하여, 유리한 경우 B가 eps에 의존하지 않을 수 있음을 보여준다.
• 일반적인 연속 함수의 경우 B의 최악의 스케일링은 약 1/eps^d 정도이며, 이는 표적 함수의 복잡성을 반영하지만, 구조화된 설정에서는 더 나은 성능을 보임을 보여준다.

실험 결과

연구 질문

• RQ1 신경미분커널(NTK)이 유한한 너비와 선형화된 영역에서 주어진 표적 함수 f를 얼마나 정량적으로 근사할 수 있는가?
• RQ2 보편적 근사를 달성하기 위해 초기 가중치의 변형이 네트워크 너비 m과 원하는 정밀도 eps에 따라 어떻게 스케일링되는가?
• RQ3 NTK 영역에서의 근사 오차가 기존 얕은 네트워크의 알려진 비율과 일치할 수 있으며, 만약 그렇다면 어떤 조건에서 가능한가?
• RQ4 초기 가중치의 운반 매핑이 높은 확률로 보편적 근사를 가능하게 하는 데 어떤 역할을 하는가?
• RQ5 NTK 영역에서의 보편적 근사는 선형화된 커널을 초월한 비선형 동역학에 의존하는가, 아니면 NTK 자체에 내재된 특성인가?

주요 결과

• 유한한 너비의 NTK는 높은 확률로 표적 함수 f와 해당 얕은 네트워크 양쪽 모두에 대해 (sqrt(eps) + B/sqrt(eps * m))^2 이내의 근사 오차를 달성한다.
• f가 유리한 성질(예: 양호한 푸리에 변환 또는 유계인 RKHS 노름)을 가질 경우, 상수 B는 eps에 의존하지 않을 수 있다.
• 최악의 경우, 일반적인 연속 함수에 대해 B는 약 1/eps^d 정도로 스케일링되며, 이는 표적 함수의 복잡성을 반영한다.
• 이 방법은 NTK 스케일링에 대한 새로운 해석을 제공한다: 재표본화로 인한 중복성 덕분에 가중치를 축소해도 표현 능력이 손실되지 않는다.
• 근사 비율은 기존 얕은 네트워크에서 알려진 비율과 일치하며, 이는 NTK 영역에서의 보편적 근사가 선형화된 커널을 초월한 비선형 행동에 의존하지 않음을 시사한다.
• 이 연구는 보편적 근사가 NTK 프레임워크 내에 내재되어 있으며, 선형화된 영역 외부의 동역학을 요구하지 않음을 확인한다.