[논문 리뷰] Bayesian Filtering for ODEs with Bounded Derivatives

Emilia Magnani, Hans Kersting외 2명|arXiv (Cornell University)|2017. 09. 25.

Stochastic processes and financial applications참고 문헌 2인용 수 5

한 줄 요약

이 논문은 유한한 도함수를 갖는 해를 모델링하기 위해 통합 옴스테인-울렌벡 과정(IOUP) 사전분포를 사용하는 새로운 베이지안 ODE 해법을 제안한다. 이는 표준 통합 빈티어 과정(IWP) 사전분포보다 안정성을 향상시킨다. IOUP 사전분포는 고차수 도함수에 대해 평균 회귀 행동을 강제함으로써, 도함수가 0으로 되돌아가는 경향이 있는 ODE 문제에서 더 정확하고 보수적인 불확실성 정량화를 가능하게 한다. 실험을 통해 감쇠 및 진동 시스템에서 그 유효성이 검증되었다.

ABSTRACT

Recently there has been increasing interest in probabilistic solvers for ordinary differential equations (ODEs) that return full probability measures, instead of point estimates, over the solution and can incorporate uncertainty over the ODE at hand, e.g. if the vector field or the initial value is only approximately known or evaluable. The ODE filter proposed in recent work models the solution of the ODE by a Gauss-Markov process which serves as a prior in the sense of Bayesian statistics. While previous work employed a Wiener process prior on the (possibly multiple times) differentiated solution of the ODE and established equivalence of the corresponding solver with classical numerical methods, this paper raises the question whether other priors also yield practically useful solvers. To this end, we discuss a range of possible priors which enable fast filtering and propose a new prior--the Integrated Ornstein Uhlenbeck Process (IOUP)--that complements the existing Integrated Wiener process (IWP) filter by encoding the property that a derivative in time of the solution is bounded in the sense that it tends to drift back to zero. We provide experiments comparing IWP and IOUP filters which support the belief that IWP approximates better divergent ODE's solutions whereas IOUP is a better prior for trajectories with bounded derivatives.

연구 동기 및 목표

• 기존의 비보수성 사전분포(예: 통합 빈티어 과정(IWP))를 사용하는 확률적 ODE 해법의 한계를 해결하고자 하며, 특히 도함수가 유한한 시스템에서의 적용을 목표로 한다.
• IWP 이외의 다른 확률적 과정이 ODE에 대해 더 정확하고 강건한 확률적 해법을 제공할 수 있는지 탐구하고자 한다.
• 도함수가 0으로 되돌아가는 물리적 직관을 반영한 새로운 사전분포인 통합 옴스테인-울렌벡 과정(IOUP)을 개발하고자 한다.
• 다양한 유형의 ODE(감쇠, 진동, 강성 있는 시스템 포함)에 대해 IOUP 기반 해법과 IWP 기반 해법을 실증적으로 비교하고자 한다.
• 도함수가 유한하게 유지되어야 하는 시스템에서 IOUP 사전분포가 불확실성 정량화와 해의 정확성 향상에 기여하는지 검증하고자 한다.

제안 방법

• 해가 가우스-마르코프 과정으로 모델링되는 베이지안 필터링 프레임워크를 제안하며, 특히 도함수의 $ q $-차 수준에서 평균 회귀 행동을 보이는 $ q $-차수의 통합 옴스테인-울렌벡 과정(IOUP)을 사용한다.
• IOUP 사전분포를 위한 필터링 방정식을 유도하며, 마르코프 성질을 활용하여 해의 사후분포를 효율적이고 순차적으로 계산할 수 있도록 한다.
• 상태공간 표현을 사용하여 상태 벡터에 해와 최대 차수 $ q $까지의 도함수를 포함시키며, 동역학은 O-U 과정에서 유도된 비율 및 확산 계수를 갖는 선형 SDE로 기술된다.
• 칼만 필터를 적용하여 벡터장 $ f $ 의 노이즈 있는 관측치를 이용해 사후분포를 반복적으로 갱신한다. 이때 $ f $ 의 평가값을 노이즈 있는 데이터로 간주한다.
• IOUP 사전분포에 대해 연속 시간 형태를 도입하여 시간에 걸쳐 매끄럽고 일관된 불확실성 전파를 보장한다.
• 정확한 해가 알려진 기준 ODE 문제에서 IOUP 기반 해법과 기존의 IWP 기반 해법 간의 해의 정확도, 분산, 수렴 행동을 비교한다.

실험 결과

연구 질문

• RQ1 통합 빈티어 과정(IWP) 이외의 다른 확률적 과정이 확률적 ODE 해법의 효과적인 사전분포로 기능할 수 있는가?
• RQ2 도함수의 $ q $-차 수준에서 평균 회귀 행동을 강제하는 IOUP 사전분포는 IWP 사전분포보다 더 정확하고 안정적인 해 근사치를 제공하는가?
• RQ3 어떤 유형의 ODE에서 IOUP 사전분포가 IWP 사전분포를 능가하는가? 특히 도함수가 유한하게 유지되어야 하는 시스템에서의 성능을 중심으로 한다.
• RQ4 진동 시스템에서는 어떻게 되는가? 이 경우 도함수의 부호와 크기가 주기적으로 변화하므로, IOUP 기반 해법의 성능을 평가하고자 한다.
• RQ5 강성 있거나 감쇠하는 시스템에서는 IOUP 사전분포가 IWP 사전분포에 비해 불확실성 정량화를 얼마나 향상시키는가?

주요 결과

• 감쇠 지수 함수 및 방사성 붕괴 사슬과 같은 도함수가 유한한 시스템에서, IOUP 기반 해법은 평균 회귀 성질 덕분에 진짜 해 주변의 진동을 크게 감소시킨다.
• 음의 지수 감쇠 문제에서(그림 2b), IOUP 해법은 IWP 해법보다 항상 진짜 해에 더 가까이 유지되며, 평균 회귀가 없어 발생하는 큰 이탈을 보이지 않는다.
• 반데폴 오실레이터 문제에서(그림 3b), IOUP 해법은 IWP 해법을 능가하며, 시스템의 동역학이 자연스럽게 도함수의 유한성을 보일 경우 도함수의 평균 회귀가 유리함을 시사한다.
• 반면, 비진동성 양의 지수 증가 문제에서는(그림 2a), IWP 해법이 더 우수한 성능을 보이며, 이는 IOUP 사전분포가 발산하는 해에 대해 너무 제한적일 수 있음을 시사한다.
• 강성 있는 시스템(예: 문제 3)에서 IOUP 해법은 진짜 해 주변에서 더 낮은 사후 분산을 유지하며, 불확실성 추정의 보수성과 신뢰성을 향상시킴을 보여준다.
• 특히 $ q $-차 도함수가 0으로 향하는 시스템, 예를 들어 붕괴 과정에서 IOUP 사전분포는 물리적으로 타당하고 실용적인 효과를 보이며, 이는 그 물리적 타당성과 실용성을 확인한다.