[논문 리뷰] A Survey on Universal Approximation Theorems

Midhun T. Augustine|arXiv (Cornell University)|2024. 07. 17.

Approximation Theory and Sequence Spaces인용 수 6

한 줄 요약

본 설문은 feedforward neural networks에 대한 universal approximation theorems (UATs)를 다루며, 임의의 너비와 임의의 깊이 결과를 모두 포함하고, 고전적 함수 근사 결과를 NN 표현력과 연결합니다.

ABSTRACT

This paper discusses various theorems on the approximation capabilities of neural networks (NNs), which are known as universal approximation theorems (UATs). The paper gives a systematic overview of UATs starting from the preliminary results on function approximation, such as Taylor's theorem, Fourier's theorem, Weierstrass approximation theorem, Kolmogorov - Arnold representation theorem, etc. Theoretical and numerical aspects of UATs are covered from both arbitrary width and depth.

연구 동기 및 목표

• 신경망과 관련된 함수 근사의 역사적·수학적 기초를 설명한다.
• 임의의 너비 및 임의의 깊이 feedforward NNs에 대한 UATs를 체계적으로 조사한다.
• 다른 활성화 함수가 보편 근사 특성에 어떻게 영향을 미치는지 설명한다.
• 보편 근사를 위한 최소 너비와 깊이 요건을 논의한다.
• 추가 독서 및 실용적 시사점에 대한 가이드와 참고 문헌을 제공한다.

제안 방법

• Taylor, Fourier, Weierstrass, Kolmogorov–Arnold 등 고전적 근사 결과를 기초 맥락으로 검토한다.
• 임의의 너비에 대한 UAT를 제시한다: 시그모이드/비다항 활성화를 갖는 단일 은닉층 네트워크에 의한 연속 함수의 조밀한 근사.
• 임의의 깊이에 대한 UAT를 제시한다: 깊이와 너비의 관계 및 임의의 함수 근사를 위한 심층 네트워크의 용량을 분석한다.
• 너비 최저 한계 결과(예: 너비 n+4 및 너비 n+1 경계)와 그것들의 시사점을 논의한다.
• 실용적 표현력을 보여주기 위해 ReLU 네트워크와 조각적 선형 근사의 예를 통해 설명한다.

Figure 1: (a) Neural Network (b) Neuron.

실험 결과

연구 질문

• RQ1 신경망의 보편 근사를 뒷받침하는 주요 역사적 및 수학적 결과는 무엇인가?
• RQ2 어떤 조건(너비, 깊이, 활성화 함수 하에서) 피드포워드 NN가 컴팩트한 정의역에서 임의의 연속 함수를 근사할 수 있는가?
• RQ3 다양한 설정에서 보편 근사를 위한 최소 너비와 깊이 요구사항은 무엇인가?
• RQ4 활성화 함수(sigmoid, ReLU, nonpolynomial)가 UAT 진술에 어떻게 영향을 미치는가?
• RQ5 너비와 깊이가 보편 근사 달성에 미치는 실용적 함의는 무엇인가?

주요 결과

• 시그모이드 또는 비다항 활성화를 가진 한 은닉층(얕은) 네트워크가 컴팩트 집합에서 연속 함수를 조밀하게 근사할 수 있다.
• 임의의 깊이와 제한된 너비를 가지거나 그 반대의 경우의 딥 네트워크는 적절한 활성화 함수에서 보편 근사 능력을 보인다.
• 보편 근사를 위한 필요한 최소 너비는 1보다 크며, 다양한 설정에서 너비 n+4 및 이후 너비 max{n+1,m}이 충분하다는 결과가 있다.
• ReLU 네트워크는 너비가 ≤ n일 때 너비 관련 한계가 있지만, 이 임계치를 넘으면 많은 함수 클래스에 대해 보편 근사를 달성한다.
• 고전적 결과(Taylor, Fourier, Weierstrass, Kolmogorov–Arnold)는 신경망 근사 능력의 이론적 기초를 뒷받침하고 UAT 증명과 연결한다.
• 컨볼루셔널, 잔차, 순환 및 트랜스포머 아키텍처에 대한 확장은 향후 방향 또는 별개의 문헌으로 논의된다.

Figure 2: Graph of activation functions: (a) ReLU (b) Step (c) Logistic (d) Tanh.