[논문 리뷰] Learning Green's functions associated with time-dependent partial differential equations

Nicolas Boullé, Seick Kim외 2명|arXiv (Cornell University)|2022. 04. 27.

Model Reduction and Neural Networks인용 수 12

한 줄 요약

이 논문은 신경 연산자와 무작위 수치 선형 대수를 활용하여 시간에 의존하는 타원형 PDE의 그린 함수를 이론적으로 엄밀하게 학습하는 데 있어 최초의 방법을 제시한다. 그린 함수에 내재된 계층적 낮은 질량 구조를 활용하고, $\mathcal{O}(\epsilon^{-(n+2)/2}\log(1/\epsilon))$개의 학습 쌍을 사용함으로써, 높은 확률로 상대적 $L^1$-오차 $\mathcal{O}(\Gamma_\epsilon^{-1/2}\epsilon)$를 달성하며, 시간에 의존하는 PDE의 과학적 기계 학습을 위한 기초적인 데이터 복잡도 경계를 제공한다.

ABSTRACT

Neural operators are a popular technique in scientific machine learning to learn a mathematical model of the behavior of unknown physical systems from data. Neural operators are especially useful to learn solution operators associated with partial differential equations (PDEs) from pairs of forcing functions and solutions when numerical solvers are not available or the underlying physics is poorly understood. In this work, we attempt to provide theoretical foundations to understand the amount of training data needed to learn time-dependent PDEs. Given input-output pairs from a parabolic PDE in any spatial dimension $n\geq 1$, we derive the first theoretically rigorous scheme for learning the associated solution operator, which takes the form of a convolution with a Green's function $G$. Until now, rigorously learning Green's functions associated with time-dependent PDEs has been a major challenge in the field of scientific machine learning because $G$ may not be square-integrable when $n>1$, and time-dependent PDEs have transient dynamics. By combining the hierarchical low-rank structure of $G$ together with randomized numerical linear algebra, we construct an approximant to $G$ that achieves a relative error of $\smash{\mathcal{O}(Γ_ε^{-1/2}ε)}$ in the $L^1$-norm with high probability by using at most $\smash{\mathcal{O}(ε^{-\frac{n+2}{2}}\log(1/ε))}$ input-output training pairs, where $Γ_ε$ is a measure of the quality of the training dataset for learning $G$, and $ε>0$ is sufficiently small.

연구 동기 및 목표

• 시간에 의존하는 PDE를 학습하기 위해 필요한 학습 데이터의 양에 대한 이론적 기초를 확립하기 위해.
• 제곱-integrable이 아닌 차원 $n > 1$에서 정의되는 타원형 PDE와 관련된 그린 함수의 엄밀한 분석을 수행하기 위해.
• 임시 동역학과 제곱-integrable이 아닌 그린 함수로 인한 과학적 기계 학습의 과제를 극복하기 위해.
• 학습된 그린 함수와의 커플링을 통한 해 연산자에 대한 증명 가능하게 정확한 근사 방법을 도출하기 위해.
• 원하는 상대적 오차를 $L^1$-노름에서 달성하기 위해 필요한 입력-출력 쌍의 수를 정량화하는 데이터 복잡도 경계를 제공하기 위해.

제안 방법

• 이 방법은 잘 분리된 영역에서 그린 함수의 계층적 낮은 질량 구조를 활용하며, Bebendorf와 Hackbusch(2003)의 결과를 타원형 PDE에까지 확장한다.
• 무작위 수치 선형 대수, 특히 무작위 SVD를 사용하여 시공간 영역의 부분 영역에서 그린 함수를 효율적으로 근사한다.
• 알고리즘은 영역 $\mathcal{U} \times \mathcal{U}$를 저항성 부분 영역 $Q_X \times Q_Y$로 분할하고, 여기에 낮은 질량 근사가 적용된다.
• 확률론적 오차 분석을 통해 진짜 그린 함수 $G$와 근사 함수 $\tilde{G}$ 사이의 전반적 $L^1$-오차를 경계하며, 높은 확률로 $\|G - \tilde{G}\|_{L^1} = \mathcal{O}(\Gamma_\epsilon^{-1/2}\epsilon)\|G\|_{L^1}$임을 보여준다.
• 필요한 학습 쌍의 수는 $\mathcal{O}(\epsilon^{-(n+2)/2}\log(1/\epsilon))$로 유도되며, 여기서 $\epsilon$은 목표 정확도를 제어하고 $\Gamma_\epsilon$는 데이터셋의 품질을 측정한다.
• 해결책은 $L^1$-노름에서 이론적 분석을 통해 검증되며, 이는 그린 함수가 일반적으로 $L^2$에 속하지 않는 $n > 1$ 차원에서 필수적이다.

실험 결과

연구 질문

• RQ1 시간에 의존하는 타원형 PDE의 그린 함수를 정해진 상대 오차로 학습하기 위해 필요한 최소 입력-출력 쌍의 수는 얼마인가?
• RQ2 그린 함수가 고차원에서 제곱-integrable이 아니면, 타원형 PDE의 해 연산자를 어떻게 엄밀하게 근사할 수 있는가?
• RQ3 그린 함수의 계층적 낮은 질량 구조를 활용하여 과학적 기계 학습에서 데이터 요구량을 줄일 수 있는가?
• RQ4 무작위 SVD는 비제곱-integrable 그린 함수의 정확하고 고확률 근사 구축에 어떤 역할을 하는가?
• RQ5 표준 딥러닝 방법이 $L^2$-손실을 사용할 경우 시간에 의존하는 PDE의 임시 동역학에서는 왜 실패하는가? 그리고 $L^1$-기반 학습은 이를 어떻게 완화할 수 있는가?

주요 결과

• 이 방법은 높은 확률로 진짜 그린 함수 $G$와 학습된 근사 함수 $\tilde{G}$ 사이의 상대적 $L^1$-오차가 $\mathcal{O}(\Gamma_\epsilon^{-1/2}\epsilon)\|G\|_{L^1}$임을 달성한다.
• 필요한 학습 쌍의 수는 $\mathcal{O}(\epsilon^{-(n+2)/2}\log(1/\epsilon))$로 경계되며, 여기서 $\epsilon > 0$는 목표 정확도이고 $n$은 공간 차원이다.
• 실패 확률은 $\mathcal{O}(\epsilon^{\log^{n+2}(1/\epsilon) - (n+2)/2})$로 경계되며, $\epsilon \to 0$일 때 이 값은 0으로 수렴한다.
• 분석은 $L^1$-노름에서 수행되며, 이는 $n > 1$ 차원에서 타원형 PDE의 그린 함수가 일반적으로 $L^2$에 속하지 않기 때문에 필수적이다.
• 이론적 프레임워크는 모든 공간 차원에서 타원형 PDE로 일반화되며, 이전의 $L^1$-노름에서의 결과를 확장한다.
• 이 연구는 $L^1$-기반 손실 함수와 라이프라틱 신경망과 같은 아키텍처가 임시 동역학에 대한 물리 기반 신경망에서 모드 붕괴를 극복하는 데 유망한 대안임을 밝혀냈다.