[논문 리뷰] High-dimensional approximation spaces of artificial neural networks and applications to partial differential equations

Pierfrancesco Beneventano, Patrick Cheridito외 2명|arXiv (Cornell University)|2020. 12. 08.

Model Reduction and Neural Networks참고 문헌 36인용 수 5

한 줄 요약

이 논문은 인공신경망(ANN)의 근사 공간을 도입하여 고차원 함수를 다루는 데서 차원의 극복 문제를 엄밀히 분석한다. 이들 공간이 선형 조합, 극한, 무한 합성에 대해 닫혀 있음을 입증하고, 이를 바탕으로 ReLU 신경망이 차원과 반대 정확도의 다항수준으로 증가하는 매개변수 수를 가지며, 차원의 극복 문제를 극복함을 증명한다.

ABSTRACT

In this paper we develop a new machinery to study the capacity of artificial neural networks (ANNs) to approximate high-dimensional functions without suffering from the curse of dimensionality. Specifically, we introduce a concept which we refer to as approximation spaces of artificial neural networks and we present several tools to handle those spaces. Roughly speaking, approximation spaces consist of sequences of functions which can, in a suitable way, be approximated by ANNs without curse of dimensionality in the sense that the number of required ANN parameters to approximate a function of the sequence with an accuracy $\varepsilon > 0$ grows at most polynomially both in the reciprocal $1/\varepsilon$ of the required accuracy and in the dimension $d \in \mathbb{N} = \{1, 2, 3, \ldots \}$ of the function. We show that these approximation spaces are closed under various operations including linear combinations, formations of limits, and infinite compositions. To illustrate the utility of the machinery proposed in this paper, we employ the developed theory to prove that ANNs have the capacity to overcome the curse of dimensionality in the numerical approximation of certain first order transport partial differential equations (PDEs). We even prove that approximation spaces are closed under flows of first order transport PDEs.

연구 동기 및 목표

• 고차원 함수 공간에서 인공신경망(ANN)의 근사 능력을 분석하기 위한 이론적 프레임워크를 개발하는 것.
• 선형 조합, 극한, 무한 합성과 같은 핵심 연산에 대해 닫혀 있는 근사 공간을 정의하고 연구하는 것.
• ANN이 차원의 극복 문제 없이 일阶 운반 PDE의 해를 근사할 수 있음을 입증하는 것.
• 해류의 흐름이 정의된 근사 공간 내에 유지되어 효율적인 수치 근사를 가능하게 하는 것.

제안 방법

• 차원과 반대 정확도의 다항수준 매개변수 성장률을 갖는 함수 시퀀스로 근사 가능한 ANN의 근사 공간 개념을 도입한다.
• 함수 가족과 차원 매핑을 정의하여 고차원 함수 시퀀스의 행동을 체계화한다.
• 닫힘 성질을 입증: 근사 공간은 선형 조합, 점별 극한, ANN의 무한 합성에 대해 닫혀 있다.
• 이들 공간 내에서 시간에 따라 변화하는 PDE 해를 모델링하기 위해 오일러 근사 스킴을 개발한다.
• 정규화된 선형 단위(ReLU)를 사용하여 명시적인 ANN 근사 구조를 구성하고, 매개변수 수와 정확도에 따른 오차 한계를 증명한다.
• 일阶 운반 PDE에 이 이론을 적용하기 위해, PDE의 흐름 연산자가 미약한 정규성 조건 하에 근사 공간 내의 소속성을 유지함을 보인다.

실험 결과

연구 질문

• RQ1 인공신경망은 차원의 극복 문제 없이 고차원 함수를 근사할 수 있는가, 그리고 만약 가능하다면 어떤 조건에서 가능한가?
• RQ2 ANN의 근사 공간이 선형 조합과 극한과 같은 연산에 대해 닫혀 있는 구조적 성질을 어떻게 가지는가?
• RQ3 일阶 운반 PDE의 해 흐름은 정의된 근사 공간 내에서 ANN으로 표현되고 근사될 수 있는가?
• RQ4 이러한 PDE에 대해 ANN 근사의 매개변수 복잡도는 정확도와 차원에 따라 어떻게 스케일링되는가?
• RQ5 ReLU 활성화를 갖는 네트워크는 PDE 해 근사를 위해 다항수준의 매개변수 성장률을 달성하여 차원의 극복 문제를 극복할 수 있는가?

주요 결과

• ANN의 근사 공간은 선형 조합에 대해 닫혀 있어, 근사 가능한 함수의 선형 조합이 매개변수의 기하급수적 증가 없이 여전히 근사 가능하다.
• 근사 공간은 점별 극한에 대해 닫혀 있어, ANN 시퀀스의 극한으로 정의된 함수도 근사 가능하다.
• 근사 공간 내에서 ANN의 무한 합성도 여전히 근사 공간에 속해 있어, 복잡한 반복 사상 모델링이 가능하다.
• 일阶 운반 PDE의 흐름은 근사 공간 내의 함수를 다른 근사 공간 내의 함수로 매핑하며, 구조를 유지한다.
• ReLU 활성화를 갖는 네트워크의 경우, 첫째, 일阶 운반 PDE의 해를 근사하기 위해 필요한 매개변수 수는 정확도의 역수 ε과 차원 d에 대해 다항수준으로 증가하며, 명시적인 지수 상한이 제시된다.
• 특정한 매개변수 성장률이 유도되었다: 예를 들어, 주어진 정규성 및 근사 조건 하에서 매개변수 수는 ε^{-1 - 2r₀(κ+2)/(1−ρκ)} d^{8+α+2r₁+2r₀(α(κ+1)+βκ)/(1−ρκ)} 비율로 증가한다.