[논문 리뷰] Deep neural network approximation theory for high-dimensional functions

Pierfrancesco Beneventano, Patrick Cheridito외 3명|arXiv (Cornell University)|2021. 12. 29.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 깊이 있는 신경망(DNNs)이 차원 수가 높은 함수의 광범위한 클래스를 다루며, 차원의 극복 문제를 겪지 않고도 근사할 수 있음을 입증한다. 국소 리프시츠 연속 함수, 최댓값, 곱셈의 복합 구조에 대한 닫힘 성질를 도입하고 증명함으로써, 저자들은 DNNs가 입력 차원과 반대 정확도에 대해 다항수준의 매개변수 증가만으로도 복잡한 고차원 함수를 효율적으로 근사할 수 있음을 보여준다.

ABSTRACT

The purpose of this article is to develop machinery to study the capacity of deep neural networks (DNNs) to approximate high-dimensional functions. In particular, we show that DNNs have the expressive power to overcome the curse of dimensionality in the approximation of a large class of functions. More precisely, we prove that these functions can be approximated by DNNs on compact sets such that the number of parameters necessary to represent the approximating DNNs grows at most polynomially in the reciprocal $1/\varepsilon$ of the approximation accuracy $\varepsilon>0$ and in the input dimension $d\in \mathbb{N} =\{1,2,3,\dots\}$. To this end, we introduce certain approximation spaces, consisting of sequences of functions that can be efficiently approximated by DNNs. We then establish closure properties which we combine with known and new bounds on the number of parameters necessary to approximate locally Lipschitz continuous functions, maximum functions, and product functions by DNNs. The main result of this article demonstrates that DNNs have sufficient expressiveness to approximate certain sequences of functions which can be constructed by means of a finite number of compositions using locally Lipschitz continuous functions, maxima, and products without the curse of dimensionality.

연구 동기 및 목표

• 고차원 함수를 근사하는 데 있어 깊이 있는 신경망(DNNs)의 표현 능력을 분석하기 위한 이론적 프레임워크를 개발하는 것.
• DNNs가 입력 차원과 반대 정확도에 대해 다항수준의 매개변수 증가를 보이며, 차원의 극복 문제를 피할 수 있는지 조사하는 것.
• 국소 리프시츠 함수, 최댓값, 곱셈에 대한 근사 공간의 닫힘 성질를 수립하는 것.
• 기본 연산과 규칙적인 함수의 유한한 복합 구조로 구성된 함수를 DNNs가 다항수준의 매개변수 증가 없이 효율적으로 근사할 수 있음을 증명하는 것.

제안 방법

• DNNs에 의해 효율적으로 근사될 수 있는 함수의 수열로 구성된 근사 공간을 도입한다.
• DNN 근사 프레임워크 내에서 핵심 연산—국소 리프시츠 연속성, 최댓값 함수, 곱셈 함수—을 정의하고 분석한다.
• 선형 보간과 매개변수 효율적인 DNN 구조를 사용하여 국소 리프시츠 연속 함수를 다항수준의 매개변수 증가로 근사한다.
• 활성화 함수와 네트워크 아키텍처를 활용하여 최댓값과 곱셈에 대한 명시적 DNN 표현을 구성함으로써 근사 효율성을 유지한다.
• 네트워크 병렬화 및 조합 규칙을 사용하여 국소 리프시츠 함수, 최댓값, 곱셈에 대한 복합 구조에 대한 근사 공간의 닫힘 성질을 증명한다.
• 출력 차원과 근사 정확도 제어를 위해 네트워크 클리핑 및 행렬 투영 연산(예: $\mathbf{A}_{P_d,0}$)을 활용한다.

실험 결과

연구 질문

• RQ1 깊이 있는 신경망은 입력 차원과 반대 정확도에 대해 다항수준의 매개변수 증가를 보이며 고차원 함수를 근사할 수 있는가?
• RQ2 국소 리프시츠 함수, 최댓값, 곱셈의 복합 구조를 근사할 때 DNNs는 다항수준의 접근성 유지가 가능한가?
• RQ3 DNNs의 어떤 구조적 성질이 함수 근사에서 차원의 극복 문제를 피할 수 있게 하는가?
• RQ4 복합 구조에 대한 근사 공간의 닫힘 성질이 DNNs의 표현력에 어떤 영향을 미치는가?
• RQ5 최댓값과 곱셈에 대한 명시적 DNN 구성이 다항수준의 매개변수 증가를 유지하면서 더 큰 네트워크에 통합될 수 있는가?

주요 결과

• DNNs는 입력 차원 $d$와 반대 정확도 $\varepsilon^{-1}$에 대해 다항수준의 매개변수 증가만으로도 고차원 함수의 광범위한 클래스를 차원의 극복 문제 없이 근사할 수 있다.
• 콤���트 집합에서 정확도 $\varepsilon$ 이내로 함수를 근사하기 위해 필요한 매개변수 수는 $\mathcal{P}(\mathscr{F}_{d,\varepsilon}) \leq c d^c \varepsilon^{-c}$ 를 만족하며, 이는 다항수준의 접근성을 보여준다. 여기서 $c \in \mathbb{R}$ 는 어떤 상수이다.
• 근사 공간은 국소 리프시츠 연속 함수, 최댓값 함수, 곱셈 함수에 대한 복합 구조에 대해 닫혀 있으며, 이는 복잡한 함수의 계층적 구성이 가능함을 의미한다.
• 최댓값과 곱셈에 대한 명시적 DNN 표현은 제어된 매개변수 수를 갖도록 구성되어 있어, 이러한 연산이 지수적 복잡도를 유도하지 않는다.
• 국소 리프시츠 함수, 최댓값, 곱셈을 근사하는 DNN들의 복합 구조는 $[-r,r]^d$ 에서 목표 함수를 오차 $\leq \varepsilon$ 이내로 근사하는 DNN의 실현을 생성한다.
• 투영 행렬 $P_d$ 와 네트워크 클리핑 연산의 사용은 최종 DNN 출력이 제한된 오차로 목표 스칼라 출력 함수 $p_d(x) = x_d$ 와 일치하도록 보장한다.