[논문 리뷰] Exponential Convergence of Deep Operator Networks for Elliptic Partial Differential Equations

Carlo Marcati, Christoph Schwab|arXiv (Cornell University)|2021. 12. 15.

Advanced Mathematical Modeling in Engineering참고 문헌 27인용 수 7

한 줄 요약

이 논문은 주기적이고 해석적인 조건 하에서 타원형 두阶 미분 방정식의 계수-해결 맵을 근사할 때 지수 수렴 속도를 달성하는 딥 오퍼레이터 네트워크(ONets)를 구축한다. 스펙트럼 콜로케이션 방법과 브랜치-트렁크 아키텍처를 가진 신경망 구조를 활용함으로써, 저자들은 ONets가 정확도 ε를 달성하기 위해 네트워크 크기를 O(|log(ε)|^κ)로 유지함을 증명한다. 여기서 κ는 공간 차원 d에 따라 달라지며, H¹ 노름에서 지수 수렴을 보임을 나타낸다.

ABSTRACT

We construct and analyze approximation rates of deep operator networks (ONets) between infinite-dimensional spaces that emulate with an exponential rate of convergence the coefficient-to-solution map of elliptic second-order partial differential equations. In particular, we consider problems set in $d$-dimensional periodic domains, $d=1, 2, \dots$, and with analytic right-hand sides and coefficients. Our analysis covers linear, elliptic second order divergence-form PDEs as, e.g., diffusion-reaction problems, parametric diffusion equations, and elliptic systems such as linear isotropic elastostatics in heterogeneous materials. We leverage the exponential convergence of spectral collocation methods for boundary value problems whose solutions are analytic. In the present periodic and analytic setting, this follows from classical elliptic regularity. Within the ONet branch and trunk construction of [Chen and Chen, 1993] and of [Lu et al., 2021], we show the existence of deep ONets which emulate the coefficient-to-solution map to a desired accuracy in the $H^1$ norm, uniformly over the coefficient set. We prove that the neural networks in the ONet have size $\mathcal{O}(\left|\log(\varepsilon) ight|^κ)$, where $\varepsilon>0$ is the approximation accuracy, for some $κ>0$ depending on the physical space dimension.

연구 동기 및 목표

• 선형이고 두계수 타원형 PDE의 계수-해결 맵을 근사하는 딥 오퍼레이터 네트워크(ONets)를 개발하여 지수 수렴 속도를 달성하는 것.
• 해석적 계수와 우측항을 가진 문제에서 무한차원 함수 공간에서 ONets의 근사 능력을 분석하고, 특히 H¹ 노름에서의 성능을 다루는 것.
• 주어진 정확도 ε를 달성하기 위해 필요한 네트워크 크기와 샘플링 포인트 수의 범위를 설정하여, ε에 대한 다항로그 의존성을 보여주는 것.
• 기존의 DNN에 의한 매개변수 PDE 근사 결과를 확장하여, 무한차원 계수 공간과 해석적 정규성을 고려하는 것.
• 주기적 영역에서 스펙트럼 방법과 해석성을 활용함으로써 제안된 ONet 아키텍처가 지수 수렴을 달성할 수 있음을 보여주는 것.

제안 방법

• Chen와 Chen [4] 및 Lu 등 [18]의 방법을 따르며, 브랜치-트렁크 아키텍처를 사용하여 계수-해결 맵을 표현하는 ONets를 구현한다.
• 주기적이고 해석적인 타원형 PDE에 대해 스펙트럼 콜로케이션 방법을 적용하며, 고전적 타원형 정규성에 기반하여 스펙트럼 근사의 지수 수렴을 보장한다.
• 해결 공간과 그 부분공간을 표현하기 위해 단위 입방체 Q = (0,1)^d에서의 텐서곱 레지나다 다항식(L_i)의 기저를 구성한다.
• 주기적 경계 조건과 평균이 0인 조건을 도입하여 해결 공간 X_{n_b}를 정의함으로써 H¹-일致성과 자유도 감소를 확보한다.
• L²-정규화된 기저 함수 χ_{i_1,…,i_d}를 사용하여 계수의 ℓ² 노름을 함수의 L² 노름에 따라 bound하며, 오차 제어를 가능하게 한다.
• ν^1d_j와 L_j 사이의 관계를 통해 ℓ² 계수 노름의 bound를 유도하며, 함수의 L² 노름이 계수 크기를 제어함을 보여주며, 이때 상수는 d에 대해 지수적으로 의존한다.

실험 결과

연구 질문

• RQ1 딥 오퍼레이터 네트워크는 해석적 계수를 가진 타원형 PDE의 해결 맵 근사에서 지수 수렴 속도를 달성할 수 있는가?
• RQ2 이러한 PDE에서 H¹ 노름에서 ε-정확도를 달성하기 위해 필요한 최소 네트워크 크기는 얼마인가?
• RQ3 네트워크 크기가 요구 정확도 ε에 따라 어떻게 변화하는가? 이는 차원의 저주를 피하는가?
• RQ4 제안된 ONet 아키텍처는 무한차원 계수 공간을 다룰 수 있으며 여전히 지수 수렴을 유지할 수 있는가?
• RQ5 해석성과 주기성이 스펙트럼 수렴 및 이후 신경망 근사에 어떻게 기여하는가?

주요 결과

• 딥 오퍼레이터 네트워크는 해석적이고 주기적인 계수를 가진 타원형 PDE의 계수-해결 맵에서 H¹ 노름에서 지수 수렴을 달성한다.
• 정확도 ε > 0을 달성하기 위해 필요한 네트워크 크기는 O(|log(ε)|^κ)로 표현되며, 여기서 κ > 0은 공간 차원 d에 따라 달라지며 다항로그 성장임을 나타낸다.
• 스펙트럼 기저에서 계수 벡터의 ℓ² 노름에 대한 bound는 함수의 L² 노름에 의해 제어되며, 상수 C_{L²}는 d에 대해 지수적으로 의존한다.
• 이 구조는 계수 집합 전체에 걸쳐 균일한 근사성을 보장하며, 해결 공간 X_{n_b}는 다항식 공간 Q_p(Q) 내의 주기적이고 평균이 0인 함수의 부분공간으로 정의된다.
• 해결 공간 X_{n_b}의 차원은 p^d − 1이며, 주기적 경계 조건과 평균이 0 조건을 적용한 후 남는 자유도 수이다.
• 분석 결과, 제안된 ONet 아키텍처는 무한차원 매개변수 공간을 가진 매개변수 PDE에 대해서도 지수 정확도로 해석 연산자를 모방할 수 있음을 확인한다.