[논문 리뷰] Probabilistic Numerical Methods for Partial Differential Equations and Bayesian Inverse Problems

Jon Cockayne, Chris J. Oates외 2명|arXiv (Cornell University)|2016. 05. 25.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 편미분방정식(PDE)를 푸는 데 있어 이산화 오차를 지식적 불확실성으로 간주하고, 이를 해의 확률분포로 표현하는 확률적 수치 방법을 제안한다. 이 방법은 통계적 추론 과정에서 이러한 불확실성을 전파함으로써, 해상도가 낮은 이산화에서도 유효한 결론을 도출할 수 있도록 하며, PDE 해법 선택 문제를 추론 오차를 최소화하는 베이지안 실험 설계 문제로 재정의한다.

ABSTRACT

This paper develops a probabilistic numerical method for solution of partial differential equations (PDEs) and studies application of that method to PDE-constrained inverse problems. This approach enables the solution of challenging inverse problems whilst accounting, in a statistically principled way, for the impact of discretisation error due to numerical solution of the PDE. In particular, the approach confers robustness to failure of the numerical PDE solver, with statistical inferences driven to be more conservative in the presence of substantial discretisation error. Going further, the problem of choosing a PDE solver is cast as a problem in the Bayesian design of experiments, where the aim is to minimise the impact of solver error on statistical inferences; here the challenge of non-linear PDEs is also considered. The method is applied to parameter inference problems in which discretisation error in non-negligible and must be accounted for in order to reach conclusions that are statistically valid.

연구 동기 및 목표

• PDE 제약 역문제에서 전통적 방법이 PDE의 정확한 해를 가정하는 바, 이에 기인한 이산화 오차 문제를 해결한다.
• 수치적 해 오차를 지식적 불확실성으로 간주하는 통계적 프레임워크를 개발하여, 후행 추론에서의 불확실성 정량화를 가능하게 한다.
• 특히 이산화 오차가 무시할 수 없는 경우에, 매개변수 추정에서 해법 오차를 고려함으로써 역문제 결과의 통계적 타당성을 확보한다.
• 해법 선택 문제를 추론의 강인성 향상을 위해 베이지안 실험 설계 문제로 재구성한다.
• 이산화 오차가 유한한 조건에서 확률적 PDE 해법을 사용할 때, 역문제에서 사후분포 수렴에 대한 이론적 보장을 제공한다.

제안 방법

• 이산화에 기인한 지식적 불확실성을 표현하기 위해 PDE 해의 확률분포를 출력하는 확률적 수치 방법(PNM)을 구축한다.
• 해를 재생핵 힐버트 공간(RKHS) 상의 사전분포로 간주하는 랜덤 변수로 모델링하며, 부드러움과 정규성 가정을 통합한다.
• 랜덤 기저를 사용한 갈레르킨 방법을 통한 유한차원 근사로 해 계수에 대한 사후분포를 도출한다.
• 베이지안 역문제에서의 가능도 함수를 통해 도출된 불확실성을 전파함으로써, 매개변수 사후분포로의 일관된 불확실성 전파를 보장한다.
• 농도 부등식과 행렬 노름 경계를 적용하여, 진짜와 근사된 로그-사후분포 간의 차이에 대한 오차 경계를 유도한다.
• PDE 해법 선택 문제를 베이지안 실험 설계 문제로 프레임워크화하여, 기대 정보 수확량을 최소화함으로써 해법 오차가 통계적 추론에 미치는 영향을 최소화한다.

실험 결과

연구 질문

• RQ1 PDE를 위한 확률적 수치 방법이 역문제에서 이산화 오차를 통계적으로 타당한 방식으로 정량화하고 전파할 수 있는가?
• RQ2 PDE가 낮은 해상도로 해석될 때, PNM의 사용이 베이지안 추론의 강인성과 타당성에 어떤 영향을 미치는가?
• RQ3 PDE 해법 선택을 베이지안 실험 설계 문제로 최적화함으로써, 역문제 결과의 불확실성을 어느 정도 줄일 수 있는가?
• RQ4 이산화 오차가 유한한 조건에서 확률적 PDE 해법을 사용할 때, 역문제에서 사후분포 수렴에 대해 어떤 이론적 보장을 확보할 수 있는가?
• RQ5 제안된 방법은 비선형 PDE에 어떻게 적용되며, 복잡한 모델에서의 불확실성 정량화에 어떤 함의를 지닌다?

주요 결과

• 확률적 PDE 해법은 이산화에 기인한 지식적 불확실성을 정량화하는 해의 사후분포를 생성하며, 이는 역문제 추론으로의 불확실성 전파를 가능하게 한다.
• 이 방법은 해법 오차를 고려함으로써 역문제 결과의 통계적 타당성을 확보하여, 이산화 오차가 클수록 더 보수적인 추론을 이끈다.
• 이론적 분석 결과, 진짜와 근사된 사후분포 간 헬링거 거리가 $ O(h^{eta - ho - d/2}) $ 의 속도로 감소함을 보여주며, 여기서 $ h $ 는 메쉬 크기이다.
• 행렬 노름 부등식과 해의 소볼레프 유형 정규성 가정을 활용하여 로그-사후분포 간 오차 경계를 도출하였으며, 데이터 및 사전 정규성에 명시적인 의존성을 포함한다.
• 이 프레임워크는 이산화 오차가 통계적 결론에 미치는 영향을 최소화하는 PDE 해법 선택이 가능하게 하며, 베이지안 실험 설계를 통해 실현된다.
• 이 방법은 비선형 PDE에 적용 가능하며, 해와 데이터에 대한 표준 정규성 및 부드러움 조건 하에서 이론적 일관성을 유지한다.