[논문 리뷰] Universal Approximation Theorem for Neural Networks

Takato Nishijima|arXiv (Cornell University)|2021. 02. 19.

Neural Networks and Applications참고 문헌 27인용 수 9

한 줄 요약

이 논문은 피드포워드 신경망에 대한 보편적 근사 정리의 체계적인 이론적 분석을 제공하며, 미묘한 조건 하에 이러한 네트워크가 컴acts 집합 위의 임의의 연속 함수를 조밀하게 근사할 수 있음을 입증한다. 또한 근사 속도를 분석하고, 네트워크 폭과 활성화 함수의 성질에 따라 근사 오차를 정량화하는 데 사용되는 Barron 공간을 도입한다.

ABSTRACT

Is there any theoretical guarantee for the approximation ability of neural networks? The answer to this question is the "Universal Approximation Theorem for Neural Networks". This theorem states that a neural network is dense in a certain function space under an appropriate setting. This paper is a comprehensive explanation of the universal approximation theorem for feedforward neural networks, its approximation rate problem (the relation between the number of intermediate units and the approximation error), and Barron space in Japanese.

연구 동기 및 목표

• 피드포워드 신경망의 보편적 근사 정리에 대해 함수 근사의 맥락에서 엄밀하고 통합적인 설명을 제공하는 것.
• 숨은 유닛 수와 근사 오차 간의 관계를 조사하여 근사 속도 문제를 다루는 것.
• Barron 공간을 도입하고 분석하여 신경망의 근사 오차를 특성화하는 함수 공간으로서의 역할을 설명하는 것.
• 보편적 근사 결과를 $L^p$ 공간과 다층, 다중 출력 네트워크로 확장하는 것.
• Cybenko, Hornik, Leshno 등이 제시한 역사적 발전과 기초 정리들을 명확히 하는 것.

제안 방법

• 컴 pact $K \subset \mathbb{R}^r$ 에서 $C(K)$ 내의 신경망 함수의 조밀성을 증명하기 위해 Stone-Weierstrass 정리와 Hahn-Banach 확장 정리를 활용한다.
• 연속 함수 위의 선형 함수형과 Borel 측도 사이의 관계를 연결하기 위해 Riesz-Markov-Kakutani 표현 정리를 적용한다.
• 구간 함수로의 근사와 컨볼루션을 이용하여 $L^p$ 및 소볼레프 공간에서의 근사를 확립한다.
• 리지드 함수의 개념을 도입하고, 그 기본 성질을 활용하여 선형 조합을 통한 보편적 근사의 증명을 수행한다.
• 잭슨 유형 부등식과 $L^p$-노름 추정을 적용하여 소볼레프 공간 및 Barron 공간 내에서의 명시적 근사 속도를 유도한다.
• Barron 공간의 개념을 사용하여 $L^1$에서 유계인 푸리에 변환을 가진 함수를 특성화하고, 네트워크 폭과 활성화 함수의 매끄러움에 따라 오차 한계를 도출한다.

실험 결과

연구 질문

• RQ1 단일 은닉층을 가진 피드포워드 신경망이 어떤 조건에서 컴팩트 집합 위의 임의의 연속 함수를 임의로 정밀하게 근사할 수 있는가?
• RQ2 근사 오차는 네트워크의 은닉 유닛 수에 어떻게 의존하는가?
• RQ3 활성화 함수의 성질(예: 다항식이 아님, 유계 또는 무한대)이 보편적 근사의 가능성을 어떻게 결정하는가?
• RQ4 Barron 공간은 함수의 정규성에 따라 신경망의 근사 오차를 어떻게 정량화하는가?
• RQ5 보편적 근사 성질은 $L^p$ 공간과 다중 출력 네트워크로 확장될 수 있는가?

주요 결과

• Leshno 등(1993)이 증명한 바와 같이, 비다항식 활성화 함수를 가진 피드포워드 신경망은 Cybenko(1989)와 Hornik(1989)의 이전 결과를 확장하여 보편적 근사 정리가 성립한다.
• 은닉층이 하나인 신경망은 $\mathbb{R}^r$ 의 컴팩트 부분집합 위에서 임의의 연속 함수를 상한 노름 하에 조밀하게 근사할 수 있으며, 이는 임의의 정밀도를 달성할 수 있음을 의미한다.
• 소볼레프 공간 내 근사 속도는 $N$ 개의 은닉 유닛에 대해 $O(1/\sqrt{N})$ 으로 유계이며, 이는 대상 함수의 매끄러움에 따라 달라진다.
• 적절한 활성화 함수 하에서 Barron 공간에 속하는 함수는 $N$ 개의 은닉 유닛에 대해 $O(1/N)$ 정도의 근사 오차 한계를 갖는다.
• $L^p$ 공간($1 \leq p < \infty$)으로의 보편적 근사 결과가 확장되며, 적절한 조건 하에 신경망이 $L^p(\mathbb{R}^r)$ 내에서 조밀하다는 것이 입증된다.
• 논문은 리지드 함수의 집합이 $C(\mathbb{R}^r)$ 내에서 기본적임을 확립하여 보편적 근사 증명에 핵심적인 기술적 다리를 제공한다.