[논문 리뷰] On the Bayesian Solution of Differential Equations

Junyang Wang, Jon Cockayne외 1명|arXiv (Cornell University)|2018. 05. 18.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 일반선형미분방정식(OEDs)을 해결하기 위한 기본적인 베이지안 확률적 수치 방법을 제안한다. 이 방법은 리 군 대칭 분석과 변환된 해공간에서의 비모수적 회귀를 결합함으로써, 해의 정확한 정보 연산자 정보를 정의하고, 이로 인해 이산화 불확실성의 엄밀하고 일관된 전파가 가능해진다. 그 결과, 기울기 평가 수가 증가함에 따라 사후분포가 진짜 해로 수렴함을 보여준다.

ABSTRACT

The interpretation of numerical methods, such as finite difference methods for differential equations, as point estimators allows for formal statistical quantification of the error due to discretisation in the numerical context. Competing statistical paradigms can be considered and Bayesian probabilistic numerical methods (PNMs) are obtained when Bayesian statistical principles are deployed. Bayesian PNM are closed under composition, such that uncertainty due to different sources of discretisation can be jointly modelled and rigorously propagated. However, we argue that no strictly Bayesian PNM for the numerical solution of ordinary differential equations (ODEs) have yet been developed. To address this gap, we work at a foundational level, where a novel Bayesian PNM is proposed as a proof-of-concept. Our proposal is a synthesis of classical Lie group methods, to exploit the underlying structure of the gradient field, and non-parametric regression in a transformed solution space for the ODE. The procedure is presented in detail for first order ODEs and relies on a certain technical condition -- existence of a solvable Lie algebra -- being satisfied. Numerical illustrations are provided.

연구 동기 및 목표

• 일반선형미분방정식(OEDs)을 해결하기 위한 엄밀한 베이지안 확률적 수치 방법(PNMs)의 부족을 해결하기 위해.
• 이산화에서 기인하는 불확실성을 엄밀하게 정량화하고 전파할 수 있는 공식적인 베이지안 프레임워크를 개발하기 위해.
• 해의 벡터장에 대해 가역 리 대수를 활용하여 정보 연산자 A를 정확하게 정의함으로써, 기존 PNM 접근법에서 발생하는 모순을 피하기 위해.
• 베이지안 원칙을 유지하면서도 ODE의 기하학적 구조를 존중하는 개념증명 방법을 제시하기 위해.
• 미래의 정확하거나 원칙적인 근사 베이지안 PNM을 위한 기반을 마련하기 위해.

제안 방법

• ODE를 리 군 대칭을 사용해 표준좌표(r, s)로 변환함으로써, 해가 잘 정의된 다양체 위에 존재하도록 보장한다.
• 변환된 변수 s(r)에 대해 우선분포를 s(r) = log(r) + log(x_T)ζ(r)로 정의하며, 여기서 ζ는 단조증가하고 유계인 함수이며 ζ(y₀) = 0을 만족한다.
• ζ에 대한 우선분포는 López-Lopera 등(2017)의 접근법을 활용하여 변환된 공간에서의 비모수적 회귀를 가능하게 한다.
• 기울기 장 평가 f(x_i, y_i)를 표준좌표로 매핑하고, 이 공간에서 베이지안 업데이트를 통해 사후분포를 계산한다.
• 모든 사후 샘플이 유효한 함수(즉, x에 대해 단일값을 가지는)임을 보장하기 위해 원래의 (x, y) 공간에서 해를 재구성한다.
• 이 방법은 ODE의 벡터장에 대해 가역 리 대수가 존재함을 전제로 하며, 이는 그러한 변환과 정확한 정보 연산자의 존재를 보장한다.

실험 결과

연구 질문

• RQ1 ODE를 해결하기 위한 엄밀한 베이지안 PNM를 개발할 수 있는가? 이 방법은 미분방정식의 기하학적 구조를 존중해야 한다.
• RQ2 기울기 평가 f(x_i, y_i)가 진짜 해 y†의 관측치로 유효한 정확한 정보 연산자 A를 어떻게 정의할 수 있는가?
• RQ3 리 군 대칭은 ODE 해법에 대한 일관되고 일관된 베이지안 프레임워크를 구축하는 데 어떤 역할을 하는가?
• RQ4 해공간에서 잘 정의되고 기능적으로 일관된 우선분포를 어떻게 구성할 수 있는가?
• RQ5 이산화로 인한 불확실성은 베이지안 프레임워크 내에서 다수의 수치 연산을 조합할 때 일관되게 전파될 수 있는가?

주요 결과

• 제안된 방법은 리 군 대칭을 활용해 문제를 표준좌표로 변환함으로써 정확한 정보 연산자를 정의하고, ODE를 위한 베이지안 PNM를 구성한다.
• 이 방법은 (x, y) 평면에서의 모든 사후 샘플이 잘 정의된 함수임을 보장하여 다중값 해를 방지한다.
• 기울기 장 평가 수 n이 증가함에 따라 사후 질량이 진짜 해로 수렴함을 보여주며, 이는 빈도주의 일관성을 입증한다.
• 그림 4와 5의 수치적 예시는 n이 증가할수록 (r, s) 및 (x, y) 평면에서 사후 샘플이 진짜 해로 수렴하는 경향을 보여준다.
• 이 방법은 기존 PNM가 f(x_i, y_i)를 해의 직접 관측치로 취급하는 데서 기인하는 모순을 해결하고, 완전한 베이지안 PNM의 개념증명을 제공한다.
• 이 방법은 가역 리 대수를 갖는 ODE에 국한되지만, 이 클래스는 Bluman과 Anco(2002)에서 다룬 중요한 사례들을 포함한다.