[논문 리뷰] On the Representation of Solutions to Elliptic PDEs in Barron Spaces

Ziang Chen, Jianfeng Lu외 1명|arXiv (Cornell University)|2021. 06. 14.

Model Reduction and Neural Networks참고 문헌 41인용 수 7

한 줄 요약

이 논문은 계수와 소스 항이 바론 공간에 속할 경우 고차원 2차 타원형 PDE의 해가 바론 함수로 효율적으로 근사 가능함을 입증한다. 차원 $ d $ 에 대해 다항식적으로 증가하는 차원 명시적 $ H^1 $-노름 오차 한계를 증명함으로써, 두 층의 신경망을 통한 신경망 근사와 명시적인 수렴 속도를 가능하게 한다.

ABSTRACT

Numerical solutions to high-dimensional partial differential equations (PDEs) based on neural networks have seen exciting developments. This paper derives complexity estimates of the solutions of $d$-dimensional second-order elliptic PDEs in the Barron space, that is a set of functions admitting the integral of certain parametric ridge function against a probability measure on the parameters. We prove under some appropriate assumptions that if the coefficients and the source term of the elliptic PDE lie in Barron spaces, then the solution of the PDE is $ε$-close with respect to the $H^1$ norm to a Barron function. Moreover, we prove dimension-explicit bounds for the Barron norm of this approximate solution, depending at most polynomially on the dimension $d$ of the PDE. As a direct consequence of the complexity estimates, the solution of the PDE can be approximated on any bounded domain by a two-layer neural network with respect to the $H^1$ norm with a dimension-explicit convergence rate.

연구 동기 및 목표

• 고차원 타원형 PDE의 해가 신경망을 통해 효율적으로 표현될 수 있는지 여부를 규명하는 것.
• 바론 공간 노름을 기반으로 이러한 표현의 복잡성을 정량화하는 것.
• 바론 함수에 의한 PDE 해의 $ H^1 $-근사에 대한 차원 명시적 오차 한계를 수립하는 것.
• 두 층의 신경망이 차원의 비극복성에 영향을 받지 않는 수렴 속도로 이러한 해를 근사할 수 있음을 보여주는 것.

제안 방법

• 저자들은 바론 공간으로 구성된 함수가 리idge 함수의 확률 측도에 의해 가중된 적분으로 표현될 수 있다는 기능적 해석적 프레임워크를 정의한다.
• 바론 공간 내 함수에 대한 PDE 연산자와 그 작용을 분석함으로써 해의 바론 노름에 대한 한계를 도출한다.
• 이 방법은 계수 행렬 $ A $, 포텐셜 $ c $, 소스 항 $ f $ 를 포함한 PDE의 구성요소로 분해하는 것으로, 각각 바론 공간에 속해 있다고 가정한다.
• 역 라플라스 연산자 및 푸리에 분석의 성질을 이용하여, 적절한 가정 하에 해 연산자가 바론 정규성을 유지함을 보여준다.
• 余弦 활성화 함수를 갖는 두 층 신경망의 구조를 활용하여, 반복 근사 기반의 바론 노름에 대한 재귀적 추정을 수립한다.
• 근사 해의 바론 노름에 대한 명시적 한계를 포함하여 분석을 수행함으로써, 차원 $ d $ 에 대해 다항식적 의존성을 보여준다.

실험 결과

연구 질문

• RQ1 고차원 2차 타원형 PDE의 해는 바론 공간에 속하는 함수로 근사될 수 있는가?
• RQ2 해의 바론 노름이 차원 $ d $ 와 소망 정밀도 $ \epsilon $ 에 따라 어떻게 의존하는가?
• RQ3 활성화 함수의 선택(예:余弦)이 바론 노름 한계에 어떤 영향을 미치는가?
• RQ4 두 층의 신경망이 차원 명시적 수렴 속도로 해를 근사할 수 있는가?

주요 결과

• 타원형 PDE의 계수 $ A $, $ c $, 소스 항 $ f $ 가 바론 공간에 속할 경우, 해 $ u^* $ 는 바론 함수에 의하여 $ H^1 $-노름에서 $ \epsilon $-근사가 가능하다.
• 근사 함수의 바론 노름은 $ \mathcal{O}((d/\epsilon)^{C\log(1/\epsilon)}) $ 이하로 유계이며, 이는 $ d $ 와 $ \epsilon^{-1} $ 에 대해 다항식적 의존성을 보여준다.
• 余弦 활성화 함수의 경우, 바론 노름 한계는 $ \mathcal{O}(d^{C\log 1/\epsilon}) $ 로 향상되어 고차원에서 더 우수한 확장성 확보가 가능하다.
• 해는 $ H^1 $-노름에서 차원 명시적 수렴 속도를 갖는 두 층 신경망으로 근사될 수 있다.
• 분석을 통해 해 연산자가 계수에 대한 약한 가정 하에 바론 정규성을 유지함을 입증하였다.