[논문 리뷰] Solving and Learning Nonlinear PDEs with Gaussian Processes

Yifan Chen, Bamdad Hosseini외 2명|arXiv (Cornell University)|2021. 03. 24.

Gaussian Processes and Bayesian Inference참고 문헌 82인용 수 21

한 줄 요약

이 논문은 비선형 PDE와 역문제를 해결하기 위한 새로운 가우시안 프로세스 프레임워크를 제안한다. 해를 GP 사전분포 하에서 최대사후확률( MAP ) 추정기로 설정하고, 콜로케이션을 통한 제약 조건을 부여함으로써 해결한다. 유한 차원 축소를 통해 도함수 변수를 사용함으로써 증명 가능한 수렴성과 효율적인 계산을 달성하며, 메쉬 불필요한 다양한 PDE의 해를 안정적으로 구하고, 오차 한계가 보장되며 반복 횟수도 낮게 유지(2–10회)한다.

ABSTRACT

We introduce a simple, rigorous, and unified framework for solving nonlinear partial differential equations (PDEs), and for solving inverse problems (IPs) involving the identification of parameters in PDEs, using the framework of Gaussian processes. The proposed approach: (1) provides a natural generalization of collocation kernel methods to nonlinear PDEs and IPs; (2) has guaranteed convergence for a very general class of PDEs, and comes equipped with a path to compute error bounds for specific PDE approximations; (3) inherits the state-of-the-art computational complexity of linear solvers for dense kernel matrices. The main idea of our method is to approximate the solution of a given PDE as the maximum a posteriori (MAP) estimator of a Gaussian process conditioned on solving the PDE at a finite number of collocation points. Although this optimization problem is infinite-dimensional, it can be reduced to a finite-dimensional one by introducing additional variables corresponding to the values of the derivatives of the solution at collocation points; this generalizes the representer theorem arising in Gaussian process regression. The reduced optimization problem has the form of a quadratic objective function subject to nonlinear constraints; it is solved with a variant of the Gauss--Newton method. The resulting algorithm (a) can be interpreted as solving successive linearizations of the nonlinear PDE, and (b) in practice is found to converge in a small number of iterations (2 to 10), for a wide range of PDEs. Most traditional approaches to IPs interleave parameter updates with numerical solution of the PDE; our algorithm solves for both parameter and PDE solution simultaneously. Experiments on nonlinear elliptic PDEs, Burgers' equation, a regularized Eikonal equation, and an IP for permeability identification in Darcy flow illustrate the efficacy and scope of our framework.

연구 동기 및 목표

• 비선형 PDE와 역문제를 해결하기 위한 통합적이고 이론적으로 탄탄한 프레임워크를 개발하기 위해.
• 핵심 콜로케이션 방법을 비선형 PDE로 일반화하면서도 수렴 보장과 계산 효율성을 유지하기 위해.
• 단일 최적화 프레임워크 내에서 PDE의 해와 역문제에서의 미지 매개변수를 동시에 해결할 수 있도록 하기 위해.
• 제안된 GP 기반 접근법을 통해 PDE 근사의 엄밀한 오차 한계를 계산할 수 있는 길을 제공하기 위해.
• 밀도 핵심 행렬 해법의 계산 효율성을 유지하면서도 비선형 문제에 대해 최신 기술 수준의 복잡도를 확보하기 위해.

제안 방법

• 비선형 PDE의 해를, 유한 개의 콜로케이션 점에서 PDE를 만족하도록 조건부된 가우시안 프로세스의 최대사후확률( MAP ) 추정기로 설정한다.
• 해와 콜로케이션 점에서의 도함수 값에 대한 변수를 도입함으로써 무한 차원 최적화 문제를 유한 차원 문제로 축소하고, 표현 정리의 일반화를 이룬다.
• PDE와 경계 조건에서 유도된 비선형 제약 조건을 가진 이차 목표 함수를 구성하고, 가우스-뉴턴 변형을 통해 해결한다.
• 알고리즘을 비선형 PDE의 연속적인 선형화 문제로 해석함으로써, 다양한 문제에서 2–10회 내로 빠른 수렴을 보장한다.
• 결과로 얻어진 GP 근사값을 활용해 이중 공간과 임bedding 부등식을 통해 오차 한계를 계산한다. 이는 해의 정규성과 콜로케이션 점의 최대 간격을 고려한다.
• 해의 해석 공간에 맞게 커널을 적응시키기 위해 커널 학습(예: 최대우도, MAP, 교차검증)을 가능하게 하여, 불규칙하거나 비선형 PDE에서의 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스 프레임워크를 엄밀하게 비선형 PDE에 확장할 수 있으며, 증명 가능한 수렴성과 오차 통제가 가능한가?
• RQ2 비선형 PDE의 해와 역문제에서의 미지 매개변수 식별을 동시에 최적화할 수 있는 확률적 프레임워크는 어떻게 설계할 수 있는가?
• RQ3 GP 기반 콜로케이션을 사용한 비선형 PDE의 해법에서 계산 복잡도는 얼마이며, 밀도 핵심 행렬 해법의 선형 해법과 경쟁 가능한가?
• RQ4 커널 선택과 해의 정규성은 GP 기반 PDE 해법의 정확도와 수렴성에 어떤 영향을 미치는가?
• RQ5 계산 효율성과 이론적 보장을 유지하면서도, 비가우시안 사전분포로 일반화할 수 있는가?

주요 결과

• 제안된 방법은 매우 일반적인 비선형 PDE 클래스에 대해 수렴성을 확보하며, 수렴 속도는 콜로케이션 점의 최대 간격과 해의 소볼레프 정규성에 의해 제한된다.
• 다양한 PDE들—비선형 타원형 방정식, 버거스 방정식, 정규화된 아이케오날 방정식 등—에 대해 2~10회 반복 내로 수렴한다.
• 오차 한계는 이중 공간과 임베딩 부등식을 통해 유도되며, 근사 오차가 $ O(h^s) $로 감소함을 보여주며, 여기서 $ h $는 최대 간격이고 $ s $는 해의 소볼레프 노름과 관련된다.
• 상태 기술 수준의 밀도 핵심 행렬 해법의 계산 복잡도를 그대로 이어받아 대규모 문제의 효율적 해결이 가능하다.
• 최대우도, MAP, 또는 교차검증을 통한 커널 학습은 실현 가능하며, 특히 불규칙한 해나 비선형 PDE에서 정확도 향상에 기여한다.
• 비가우시안 사전분포로의 일반화는 가우시안 프로세스의 비선형 변환을 통해 자연스럽게 가능하며, 복잡한 사전분포를 가진 베이지안 역문제에 대한 새로운 접근법을 가능하게 한다.