[논문 리뷰] Parametric Complexity Bounds for Approximating PDEs with Neural Networks

Tanya Marwah, Zachary C. Lipton외 1명|arXiv (Cornell University)|2021. 03. 03.

Model Reduction and Neural Networks참고 문헌 35인용 수 5

한 줄 요약

이 논문은 입력 차원 $d$ 에 대해 다항식적으로 증가하고, PDE 계수의 매개수에 대해 선형적으로 증가하는 매개수로 고차원 선형 타원형 PDE의 해를 근사할 수 있음을 보여준다. 저자들은 힐버트 공간에서의 경사하강법을 계층적 네트워크 성장 방식으로 시뮬레이션하는 구조적 증명 기법을 제안하며, 해의 복잡도가 도메인 부피에 영향을 받지 않고 계수의 복잡도에만 의존함을 보였다.

ABSTRACT

Recent experiments have shown that deep networks can approximate solutions to high-dimensional PDEs, seemingly escaping the curse of dimensionality. However, questions regarding the theoretical basis for such approximations, including the required network size, remain open. In this paper, we investigate the representational power of neural networks for approximating solutions to linear elliptic PDEs with Dirichlet boundary conditions. We prove that when a PDE's coefficients are representable by small neural networks, the parameters required to approximate its solution scale polynomially with the input dimension $d$ and proportionally to the parameter counts of the coefficient networks. To this we end, we develop a proof technique that simulates gradient descent (in an appropriate Hilbert space) by growing a neural network architecture whose iterates each participate as sub-networks in their (slightly larger) successors, and converge to the solution of the PDE. We bound the size of the solution, showing a polynomial dependence on $d$ and no dependence on the volume of the domain.

연구 동기 및 목표

• 깊은 신경망이 고차원 PDE 해를 근사할 수 있는 이론적 이유를 설명하는 것 — 특히 차원의 저주를 경험하지 않는 이유를 밝히는 것.
• 디리클레 경계 조건을 가진 선형 타원형 PDE의 해를 근사하기 위해 필요한 최소 매개수를 규명하는 것.
• 해의 매개수 복잡도가 입력 차원 $d$ 에 대해 다항식적으로 증가하고, PDE 계수의 매개수에 대해 선형적으로 증가함을 입증하는 것.
• 힐버트 공간에서의 경사하강법을 계층적 신경망 아키텍처를 사용해 시뮬레이션하는 구조적 증명 기법을 개발하는 것.
• 해의 매개수 복잡도가 도메인 부피에 영향을 받지 않음을 보여주어 고차원에서의 지수적 의존성을 피하는 것.

제안 방법

• 각 반복이 더 큰 후속 네트워크의 하위 네트워크로 포함되는 방식으로, 힐버트 공간에서의 경사하강법 반복을 시뮬레이션하는 신경망 아키텍처를 구성한다.
• 각 네트워크 계층이 이전 반복에 대해 미분 연산자 $L$ 의 작용을 근사하도록 재귀적 구성 기법을 사용한다.
• 매개수의 매개수에 따라 유도된 고차 도함수의 $L^2$-노름을 유도를 통해 유계화하며, PDE 계수의 미세성과 타원성 조건을 활용한다.
• 작은 노름 $\delta$ 를 가진 편항 $\Sigma$ 와 연산자 $L$ 의 복합체의 연산자 노름을 스펙트럼 등가성과 하향 곱셈성에 기반해 유계화한다.
• 해가 입력 차원 $d$ 에 대해 다항식적으로 증가하고 계수 네트워크의 매개수에 대해 선형적으로 증가하는 신경망으로 근사 가능함을 입증한다.
• $\|L^n u\|_{L^2}$ 가 $(n!)^2 C^n \max_{|\alpha| \leq n+2} \|\partial^\alpha u\|_{L^2}$ 와 같이 증가함을 이용해 도함수의 성장률을 제어할 수 있음을 활용한다.

실험 결과

연구 질문

• RQ1 디리클레 경계 조건을 가진 선형 타원형 PDE의 해를 신경망으로 근사하기 위해 필요한 최소 매개수는 얼마인가?
• RQ2 해의 매개수 복잡도는 PDE 계수 $A$ 와 $c$ 의 복잡도와 어떻게 관련이 있는가?
• RQ3 고차원 PDE 해 근사를 위해 신경망은 차원의 저주를 피할 수 있는가?
• RQ4 도메인 부피는 정확한 PDE 해 근사에 필요한 네트워크 크기에 영향을 미치는가?
• RQ5 계층적 신경망 성장 방식을 사용해 힐버트 공간에서의 경사하강법을 시뮬레이션할 수 있는 구조적 증명 기법이 존재하는가?

주요 결과

• 선형 타원형 PDE의 해를 근사하기 위해 필요한 매개수는 $O(\text{poly}(d)N)$ 으로 증가하며, 여기서 $N$ 은 계수 $A$ 와 $c$ 를 표현하기 위해 필요한 매개수이다.
• 해의 매개수 복잡도는 입력 차원 $d$ 에 대해 다항식적으로 증가하며, 도메인 $\Omega$ 의 부피에 영향을 받지 않는다.
• 증명을 통해 $\|L^n u\|_{L^2} \leq (n!)^2 C^n \max_{|\alpha| \leq n+2} \|\partial^\alpha u\|_{L^2}$ 이 성립함을 입증하여 고차 도함수의 성장률을 제어할 수 있다.
• $L$ 과 작은 편항 $\Sigma$ 의 복합체의 연산자 노름은 $\delta^i$ 이하로 유계화되어 있으며, 이는 반복 업데이트의 안정적 근사에 기여한다.
• 계층적 네트워크 구성은 경사하강법 시뮬레이션의 각 반복이 더 큰 아키텍처의 하위 네트워크로 포함되도록 보장하여 진짜 해로의 수렴을 가능하게 한다.
• 이 결과는 계수가 단순할 경우에 특히 높은 차원의 PDE를 해결하는 데 있어서 딥러닝의 경험적 성공에 대한 이론적 근거를 제공한다.