[논문 리뷰] Probabilistic Linear Multistep Methods

Onur Teymur, Konstantinos C. Zygalakis외 1명|arXiv (Cornell University)|2016. 10. 26.

Gaussian Processes and Bayesian Inference인용 수 14

한 줄 요약

이 논문은 가우시안 프로세스 프레임워크를 사용하여 애드암-베쉬포스트 및 애드암-멀턴 선형 다단계 방법의 확률적 변형을 유도하며, 사후 평균이 결정론적 방법의 해와 정확히 일치하고 사후 표준편차가 국소 절단 오차와 동일하도록 보장한다. 이 방법은 최소한의 계산 오버헤드로 고차수 수렴을 달성하며, 정확도나 효율성을 희생시키지 않은 채 불확실성 정량화를 가능하게 한다.

ABSTRACT

We present a derivation and theoretical investigation of the Adams-Bashforth and Adams-Moulton family of linear multistep methods for solving ordinary differential equations, starting from a Gaussian process (GP) framework. In the limit, this formulation coincides with the classical deterministic methods, which have been used as higher-order initial value problem solvers for over a century. Furthermore, the natural probabilistic framework provided by the GP formulation allows us to derive probabilistic versions of these methods, in the spirit of a number of other probabilistic ODE solvers presented in the recent literature. In contrast to higher-order Runge-Kutta methods, which require multiple intermediate function evaluations per step, Adams family methods make use of previous function evaluations, so that increased accuracy arising from a higher-order multistep approach comes at very little additional computational cost. We show that through a careful choice of covariance function for the GP, the posterior mean and standard deviation over the numerical solution can be made to exactly coincide with the value given by the deterministic method and its local truncation error respectively. We provide a rigorous proof of the convergence of these new methods, as well as an empirical investigation (up to fifth order) demonstrating their convergence rates in practice.

연구 동기 및 목표

• 기존 결정론적 해법의 수렴성 및 안정성 성질을 그대로 이어받는 확률적 프레임워크를 개발하기 위해.
• 가우시안 프로세스 사전분포를 통해 수치 오차를 지식 부족 불확실성으로 모델링하여 ODE 해의 불확실성 정량화를 가능하게 하기 위해.
• 기존의 확률적 수치 해법을 고차수 다단계 스킴으로 확장하여 추가 함수 평가 수를 최소화하면서도 정확도를 향상시키기 위해.
• 제안된 확률적 통합기의 수렴 속도를 엄밀히 증명하고 실증적으로 검증하기 위해.
• 혼돈 및 주기적 동역학계에 대한 적용을 통해 실용적 유용성을 입증하기 위해.

제안 방법

• ODE의 해를 해 궤적에 대한 가우시안 프로세스 사전분포로 설정하고, 이전 함수 평가값을 이용해 순차적으로 조건부 분포를 구성한다.
• 이전 상태와 함수 값에 대한 유한한 이동 윈도우를 도입하여 s단계 애드암-베쉬포스트/멀턴의 구조와 일치시킨다.
• 사후 평균과 분산을 구성함으로써 평균이 결정론적 선형 다단계 방법과 정확히 일치하고 표준편차가 국소 절단 오차와 동일하도록 보장한다.
• 정확한 확률적 사후와 고전적 오차 추정치 간의 대응을 보장하기 위해 적절한 공분산 함수를 선택한다.
• 5차까지의 일반형 확률적 통합기를 유도하여 최소한의 계산 비용으로 고차수 정확도를 달성한다.
• 해와 함수 평가 변수의 결합분포를 체계적으로 분해함으로써 순차적 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 애드암-베쉬포스트 및 애드암-멀턴 계열의 선형 다단계 방법은 확률적 가우시안 프로세스 프레임워크에서 유도될 수 있는가?
• RQ2 확률적 통합기의 사후 평균이 해당 결정론적 선형 다단계 방법의 해와 정확히 일치하는가?
• RQ3 확률적 통합기의 사후 표준편차를 결정론적 방법의 국소 절단 오차와 정확히 일치시킬 수 있는가?
• RQ4 제안된 확률적 다단계 방법의 이론적 수렴 속도는 무엇인가?
• RQ5 혼돈 및 주기적 ODE에서 실용적으로 확률적 통합기는 오차 분포 및 경로 발산 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 확률적 통합기의 사후 평균은 해당 결정론적 애드암-베쉬포스트 또는 애드암-멀턴 방법의 해와 정확히 일치한다.
• 각 단계에서의 사후 표준편차는 결정론적 방법의 국소 절단 오차와 동일하여 원칙적인 불확실성 추정을 제공한다.
• 제안된 방법은 고전적 결정론적 스킴과 동일한 수렴 속도를 달성하며, 로타-볼테라 모델에서 실증 결과로 1차에서 5차까지의 수렴 차수를 확인하였다.
• 츄아 회로에서 3단계 및 5단계 확률적 통합기(s=3, s=5)는 s=1보다 수치적 경로 발산의 시작 시점을 지연시키며, 벽 시계 시간에 유의미한 증가가 없었다.
• 2단계 및 3단계 확률적 통합기의 오차는 약간의 비대칭성을 보이며, 역문제에서 편향 감소 잠재력이 있다.
• 이 프레임워크는 고전적 다단계 방법을 확률적 수치 철학으로 자연스럽게 확장하며, 설명 가능성은 유지하면서도 불확실성 정량화를 추가한다.