[논문 리뷰] Probability Measures for Numerical Solutions of Differential Equations

Patrick R. Conrad, Mark Girolami외 3명|arXiv (Cornell University)|2015. 06. 15.

Probabilistic and Robust Engineering Design참고 문헌 15인용 수 49

한 줄 요약

이 논문은 기존 수치 해법을 무작위화하여 상미분방정식(ODE)과 편미분방정식(PDE)의 해에 대한 수치적 불확실성을 확률적 프레임워크로 정량화하는 방법을 제안한다. 이 방법은 이산화 오차에 대한 가우시안 과정을 통해 불확실성을 통합함으로써 진짜 해로 수렴하는 속도가 고전적 방법과 일치하는 해의 확률 측도를 생성한다. 이는 통계적 추론과 역문제에서 일관된 불확실성 정량화를 가능하게 한다.

ABSTRACT

In this paper, we present a formal quantification of epistemic uncertainty induced by numerical solutions of ordinary and partial differential equation models. Numerical solutions of differential equations contain inherent uncertainties due to the finite dimensional approximation of an unknown and implicitly defined function. When statistically analysing models based on differential equations describing physical, or other naturally occurring, phenomena, it is therefore important to explicitly account for the uncertainty introduced by the numerical method. This enables objective determination of its importance relative to other uncertainties, such as those caused by data contaminated with noise or model error induced by missing physical or inadequate descriptors. To this end we show that a wide variety of existing solvers can be randomised, inducing a probability measure over the solutions of such differential equations. These measures exhibit contraction to a Dirac measure around the true unknown solution, where the rates of convergence are consistent with the underlying deterministic numerical method. Ordinary differential equations and elliptic partial differential equations are used to illustrate the approach to quantifying uncertainty in both the statistical analysis of the forward and inverse problems.

연구 동기 및 목표

• 통계적 추론에서 사용되는 표준 수치 해법에서 명시적인 불확실성 정량화의 부족을 해결한다.
• 특히 역문제에서 해상도가 유한한 환경에서 결정론적 해법이 인위적인 확신을 유도한다는 것을 인식한다.
• 미분방정식 해의 수치 근사에서 기인하는 지식 부족 불확실성(에피스테메틱 불확실성)을 공식적으로 표현할 수 있는 프레임워크를 개발한다.
• 수치 방법에서 유도된 불확실성 정량화가 데이터 노이즈나 모델 오차와 같은 다른 불확실성 원천과 일관되고 비교 가능한지를 확보한다.
• 베이지안 및 역문제 프레임워크를 통해 수치적 불확실성을 일관되게 전파시켜 강건한 통계적 추론을 가능하게 한다.

제안 방법

• 이산화 가정에 대한 局부 무작위 필드—특히 가우시안 과정—를 도입하여 기존 수치 해법(예: 유한요소, 유한차분)을 무작위화한다.
• 미분방정식을 만족하는 관측되지 않은 함수에 대한 베이지안 추론 문제로 간주하여 해의 확률 측도를 구성한다.
• 유한요소 방법에서 랜덤 기저 함수를 구현하기 위해 잘린 카르누엔–로이 전개를 사용하여 해 공간 내 불확실성을 모델링한다.
• 다양한 다항식 차수(예: 선형 대비 이차) 간 오차 지표를 비교하여 무작위화의 분산 척도를 校정함으로써 수렴 속도와의 일관성을 확보한다.
• 원래의 결정론적 방법의 공식 수렴 차수를 유지하면서 불확실성을 도입함으로써 이론적 신뢰성을 확보한다.
• 정방향 및 역문제 모두에 확률적 해법을 적용하여 메esh 해상도를 높일수록 일관된 사후 확률 집중 현상을 입증한다.

실험 결과

연구 질문

• RQ1 어떻게 수치 해법에서 발생하는 미분방정식 해의 수치적 불확실성을 공식적으로 정량화하고 확률 측도로 표현할 수 있는가?
• RQ2 수치적 불확실성을 忽略할 경우 베이지안 역문제에서 사후 확률 집중에 어떤 영향을 미치는가?
• RQ3 확률적 해법이 고전적 수치 방법의 수렴 속도를 유지하면서도 불확실성 정량화를 제공할 수 있는가?
• RQ4 랜덤화된 해법을 사용할 경우 다양한 메쉬 해상도에서 통계적 추론의 일관성은 어떻게 영향을 받는가?
• RQ5 확률적 수치법은 과학 계산에서 불확실성 정량화를 향상시키기 위해 체계적인 오차 모델로 사용될 수 있는가?

주요 결과

• 제안된 확률적 해법은 진짜 해를 중심으로 도이어프레르 측도로 수렴하는 해의 확률 측도를 유도하며, 이 수렴 속도는 기반 결정론적 방법과 일치한다.
• 베이지안 역문제에서 결정론적 해법은 해상도가 유한할 경우 잘못된 날카로운 사후 확률을 생성하지만, 확률적 해법은 적절한 불확실성을 드러내며 메쉬 해상도가 높아질수록 신뢰도가 증가함을 보여준다.
• 1차원 타원형 PDE의 경우, 랜덤화된 해법은 다양한 메쉬 크기에서 일관된 사후 분포를 생성하지만, 결정론적 해법은 상호 비호환된 사후 분포를 생성한다.
• 이 방법은 공식 수렴 차수를 유지한다: 확률적 해법의 기대 오차는 $ L^1( ext{H}) $ 노름에서 $ Ch^2 $ 이하로 유계이며, 이는 결정론적 방법과 동일한 속도이다.
• 노드에서 조건부가 되는 브라운 운동 브리지 사전분포를 기반으로 한 무작위화 전략은 이산화 불확실성을 인코딩하는 실용적이고 이론적으로 탄탄한 방법을 제공한다.
• 이 프레임워크는 강건한 불확실성 전파를 가능하게 하여, 추론 과업에서 계산 비용과 통계적 분산 사이의 균형 잡힌 조정을 가능하게 한다.