[논문 리뷰] Non-asymptotic approximations of neural networks by Gaussian processes

Ronen Eldan, Dan Mikulincer외 1명|arXiv (Cornell University)|2021. 02. 17.

Markov Chains and Monte Carlo Methods참고 문헌 30인용 수 5

한 줄 요약

이 논문은 무작위 가중치로 초기화된 넓지만 유한한 너비의 신경망이 가우시안 프로세스로 얼마나 잘 근사될 수 있는지에 대한 비점근적이고 정량적인 경계를 제공한다. 무한차원 공간에서의 기능적 중심극한정리와 운반 거리(transportation distances)를 활용하여, 활성화 함수의 성질에 따라 수렴 속도가 결정됨을 규명한다—다항식 활성화 함수의 경우 차수, 일반적인 활성화 함수의 경우 연속성이다. 이는 네일의 고전적 점근적 결과에 대한 엄밀한 유한너비 대응을 제공한다.

ABSTRACT

We study the extent to which wide neural networks may be approximated by Gaussian processes when initialized with random weights. It is a well-established fact that as the width of a network goes to infinity, its law converges to that of a Gaussian process. We make this quantitative by establishing explicit convergence rates for the central limit theorem in an infinite-dimensional functional space, metrized with a natural transportation distance. We identify two regimes of interest; when the activation function is polynomial, its degree determines the rate of convergence, while for non-polynomial activations, the rate is governed by the smoothness of the function.

연구 동기 및 목표

• 무한너비 극한에서의 점근적 결과와 실용적인 유한너비 신경망 사이의 격차를 메우기 위해 정량적 근사 경계를 제공한다.
• 유한차원의 마진이 아닌 무한차원 함수 공간에서의 기능적 중심극한정리(CLT)를 수립한다.
• 운반 거리(transportation metrics)를 사용하여, 무작위로 초기화된 넓은 신경망이 가우시안 프로세스로 근사될 때의 명시적 수렴 속도를 유도한다.
• 수렴 속도가 활성화 함수의 성질에 따라 달라짐을 보이며, 다항식 활성화 함수의 경우 차수, 일반적인 활성화 함수의 경우 연속성에 따라 달라진다.
• 신경망 아키텍처의 구조적 특성을 활용하여 복잡한 기능적 근사 문제를 유한차원 설정으로 환원함으로써 이전 연구를 통합하고 확장한다.

제안 방법

• 저자들은 단일층 신경망을 단위 구면 위의 랜덤 프로세스로 모델링하며, i.i.d. 표준 정규 분포 가중치와 라데마처 부호를 사용한다.
• L²(ℝⁿ⁻¹) 공간에서의 랜덤 프로세스 공간에 대해 운반 거리(Wasserstein-2)를 정의하여, 네트워크의 분포가 한계 가우시안 프로세스와 비교 가능하도록 한다.
• 다항식 활성화 함수의 경우, 네트워크를 고차원 텐서 공간에 통합하고, 최근의 고차원 중심극한정리 및 명시적 오차 경계를 적용한다.
• 일반적인 매끄러운 활성화 함수의 경우, 활성화 함수를 다항식으로 근사하고, 그 오차를 활성화 함수의 매끄러움에 따라 bound한다. 이로써 문제를 다항식 경우로 환원한다.
• 헤일레의 정리와 에르미트 다항식 전개를 활용하여 활성화 함수의 푸리에 계수의 감쇠를 제어한다.
• 최종 경계는 근사 이론의 오차 항과 확률적 농도 집합의 오차를 조합하여 유도되며, 네트워크 너비 k, 입력 차원 n, 활성화 함수의 매끄러움에 따라 명시적인 수렴 속도를 제공한다.

실험 결과

연구 질문

• RQ1 무작위로 초기화된 넓은 신경망이 유한한 입력 집합이 아닌 함수 공간에서 가우시안 프로세스로 수렴하는 속도는 어떠한가?
• RQ2 비점근적 영역에서 수렴 속도는 활성화 함수의 성질인지 네트워크 너비인지에 의해 결정되는가?
• RQ3 운반 거리와 함께 무한차원 공간에서 명시적이고 정량적인 경계를 갖는 기능적 중심극한정리를 수립할 수 있는가?
• RQ4 다항식이 아닌 활성화 함수의 경우 수렴 속도는 어떻게 다를까?
• RQ5 근사 이론을 통해 일반 활성화 함수의 분석을 다항식 경우로 얼마나 깊이 환원할 수 있는가?

주요 결과

• 차수 d의 다항식 활성화 함수를 갖는 두 층 신경망의 경우, 네트워크와 그 한계 가우시안 프로세스 사이의 워샤르슈타인-2 거리는 O(k⁻¹/⁶)에 의해 유계이며, 활성화 함수의 푸리에 계수의 L² 노름에 따라 추가 항이 존재한다.
• ReLU 활성화 함수의 경우, 수렴 속도는 O( (k⁻¹/⁶ + ( (log n log log k) / log k )² ) )이며, k⁻¹/⁶ 항이 지배적이다.
• 매끄러운 활성화 함수인 tanh의 경우, 수렴 속도는 지수적으로 빠르며, O( exp( -C⁻¹ √( log k / (log n log log k) ) ) )로 표현되며, 다항식 수렴 속도보다 훨씬 빠르다.
• 입력 포인트의 수에 따라 수렴 속도가 악화되지 않아, 임의의 유한 입력 집합에 대한 동시 분포에 대해 경계가 강건하다.
• 분석 결과, 비다항식 경우의 수렴 속도는 활성화 함수의 매끄러움에 의해 결정되며, tanh의 경우 Rσ(d) ≤ e⁻ᶜ√d 를 만족하여 초다항식 수렴이 가능하다.
• 이 결과는 네일의 고전적 중심극한정리에 대한 유한너비이고 정량적인 대응을 수립하여, 가우시안 프로세스에 의한 넓은 신경망의 기능적 비점근적 근사를 처음으로 확립한다.