[논문 리뷰] Active Uncertainty Calibration in Bayesian ODE Solvers

Hans Kersting, Philipp Hennig|arXiv (Cornell University)|2016. 05. 11.

Gaussian Processes and Bayesian Inference참고 문헌 18인용 수 19

한 줄 요약

이 논문은 베이지안 적분(Bayesian quadrature)을 통해 기울기의 정밀도 부족을 능동적으로 학습함으로써 필터링 기반 방법에서의 불확실성 캘리브레이션을 향상시키는 새로운 확률적 미분방정식(ODE) 해법인 베이지안 적분 필터링(Bayesian Quadrature Filtering, BQF)을 제안한다. 결정적 평가를 통해 기울기 추정치를 개선함으로써, BQF는 샘플링 기반 방법보다 더 높은 평균 정확도를 달성하고, 표준 필터링 접근 방식보다 뛰어난 불확실성 캘리브레이션을 이룩한다. 이 모든 과정에서 계산 오버헤드는 최소한도로 유지된다.

ABSTRACT

There is resurging interest, in statistics and machine learning, in solvers for ordinary differential equations (ODEs) that return probability measures instead of point estimates. Recently, Conrad et al. introduced a sampling-based class of methods that are 'well-calibrated' in a specific sense. But the computational cost of these methods is significantly above that of classic methods. On the other hand, Schober et al. pointed out a precise connection between classic Runge-Kutta ODE solvers and Gaussian filters, which gives only a rough probabilistic calibration, but at negligible cost overhead. By formulating the solution of ODEs as approximate inference in linear Gaussian SDEs, we investigate a range of probabilistic ODE solvers, that bridge the trade-off between computational cost and probabilistic calibration, and identify the inaccurate gradient measurement as the crucial source of uncertainty. We propose the novel filtering-based method Bayesian Quadrature filtering (BQF) which uses Bayesian quadrature to actively learn the imprecision in the gradient measurement by collecting multiple gradient evaluations.

연구 동기 및 목표

• 확률적 ODE 해법에서 계산 비용과 불확실성 캘리브레이션 사이의 상충 관계를 해결하기 위해.
• 일般적으로 과도하게 자신감 있는 또는 잘 적응하지 못하는 분산을 보이는 필터링 기반 확률적 ODE 해법의 불확실성 추정을 개선하기 위해.
• 높은 순서의 수렴성을 유지하고 정확한 평균 추정치를 확보하면서도 의미 있는 불확실성 정량화를 가능하게 하는 방법을 개발하기 위해.
• 샘플링 기반 해법(잘 캘리브레이션되지만 비용이 많이 드는 경우)과 필터링 기반 해법(저비용이지만 캘리브레이션이 떨어지는 경우) 사이의 격차를 메우기 위해.
• 주요 불확실성 원인인 ODE 적분 과정에서의 기울기 측정 부정확성의 규명 및 능동적 수정을 위해.

제안 방법

• ODE 해를 선형 가우시안 스토하스틱 미분 방정식(SDE)에서의 근사적 추론으로 재구성하며, 해를 가우시안 프로세스로 모델링한다.
• ODE 해법에서 지식 부족 불확실성의 주요 원인으로 정확하지 못한 기울기 측정을 규명한다.
• 베이지안 적분(Bayesian quadrature, BQ)을 적용하여, 기울기 추정의 불확실성을 최소화하기 위해 기울기 평가 지점을 전략적으로 선택함으로써 벡터장 f를 능동적으로 학습한다.
• BQ를 필터링 프레임워크에 통합하여, 표준 기울기 평가 대신 BQ로 추정한 기울기로 대체함으로써 사후 평균과 분산의 캘리브레이션을 향상시킨다.
• 해에 대한 가우시안 프로세스 사전분포를 사용하고, 각 단계에서 BQ로 추정한 기울기로 사후분포를 갱신함으로써 낮은 계산 오버헤드를 유지한다.
• 상태는 해 u(t)이며, 관측 모델은 BQ로 추정한 f(t, u(t))에 기반하며, 시간에 따라 불확실성 전파를 수행하는 상태공간 모델을 사용한다.

실험 결과

연구 질문

• RQ1 베이지안 적분을 통한 기울기 평가의 능동적 학습이 필터링 기반 ODE 해법의 불확실성 캘리브레이션을 향상시킬 수 있는가?
• RQ2 BQF는 낮은 계산 비용을 유지하면서도 샘플링 기반 해법보다 더 높은 평균 정확도를 달성할 수 있는가?
• RQ3 BQF의 불확실성 캘리브레이션은 표준 필터링 기반 및 샘플링 기반 ODE 해법과 비교해 어떻게 다른가?
• RQ4 주요 불확실성 원인인 기울기 측정의 정밀도 부족은 결정적 샘플링 전략을 통해 효과적으로 모델링하고 감소시킬 수 있는가?
• RQ5 소수의 기울기 평가만으로도 높은 순서의 수렴성과 잘 캘리브레이션된 불확실성을 동시에 달성할 수 있는가?

주요 결과

• BQF는 범용 최신 샘플링 기반 해법보다도 뛰어난 평균 추정치를 제공하며, 바나 더 폴 오시레이터에서 ML 및 MC 방법보다 낮은 오차를 기록한다.
• 후속 시간점(예: t = 54)에서 BQF는 다섯 개 이상의 기울기 평가를 통해 기울기 기반 기준선(M)보다 오차를 크게 감소시켜 향상된 수렴성을 보여준다.
• BQF의 불확실성 추정은 표준 필터링 기반 방법보다 더 잘 캘리브레이션되어 있으며, 후행적으로 증가하는 경향이 있는 불확실성과 대비된다.
• 샘플링 기반 방법(MC)은 기울기 기울기가 급격히 변하는 영역에서는 불확실성이 증가하고 평탄한 영역에서는 감소하는 등 더 적응적인 불확실성 척도를 보여주며, BQF와 ML은 일관된 증가 경향을 보인다.
• 불확실성 캘리브레이션은 더 우수함에도 불구하고, MC 방법은 각 단계에서 누적되는 가우시안 노이즈로 인해 평균 추정치가 열등해지므로 BQF보다 더 높은 평균 오차를 기록한다.
• BQF는 유리한 상충 관계를 달성한다: MC 및 ML보다 뛰어난 평균 정확도를 유지하면서도 표준 필터링 접근 방식보다 더 적응적이고 잘 캘리브레이션된 불확실성 측정을 제공한다.