[논문 리뷰] Probabilistic Solutions to Differential Equations and their Application to Riemannian Statistics

Philipp Hennig, Søren Hauberg|arXiv (Cornell University)|2013. 06. 03.

Morphological variations and asymmetry참고 문헌 19인용 수 30

한 줄 요약

이 논문은 리만 기하학 통계에서의 불확실성 정량화를 가능하게 하는, 상호 연관된 가우시안 프로세스 사후분포를 반환하는 확률적 수치 방법을 제안한다. 이 방법은 이러한 불확실성에 대해 근사적으로 통합함으로써 수치 오차에 대한 민감도를 감소시키고, 최신 솔버인 bvp5c에 비해 최대 한 계단 정도의 속도 향상을 달성한다. 특히 고차원 설정에서 뚜렷하다.

ABSTRACT

We study a probabilistic numerical method for the solution of both boundary and initial value problems that returns a joint Gaussian process posterior over the solution. Such methods have concrete value in the statistics on Riemannian manifolds, where non-analytic ordinary differential equations are involved in virtually all computations. The probabilistic formulation permits marginalising the uncertainty of the numerical solution such that statistics are less sensitive to inaccuracies. This leads to new Riemannian algorithms for mean value computations and principal geodesic analysis. Marginalisation also means results can be less precise than point estimates, enabling a noticeable speed-up over the state of the art. Our approach is an argument for a wider point that uncertainty caused by numerical calculations should be tracked throughout the pipeline of machine learning algorithms.

연구 동기 및 목표

• 리만 기하학 통계에서 사용되는 전통적 ODE 솔버의 구조적 오차 추정 부족 문제를 해결하기 위해.
• 기하학적 곡선 해를 구하는 데서의 수치 정확도 부족으로 인한 다변량 통계 계산의 민감도를 줄이기 위해.
• ODE 솔버에서 발생하는 불확실성을 통계 파ip라인의 일부로 다루는 수치 방법을 개발하기 위해.
• 사후분포 근사화를 통해 통제 가능한 정밀도 저하를 허용함으로써, 확률적 솔버가 결정론적 솔버보다 더 빠를 수 있음을 보여주기 위해.
• 기본적인 불확실성 전파 기능을 내장한 평균 계산 및 주기하곡선 분석을 위한 새로운 리만 기하학 알고리즘을 가능하게 하기 위해.

제안 방법

• ODE 해법을 베이지안 추론 문제로 재구성하여, 벡터장 f의 평가를 노이즈가 있는 관측치로 간주한다.
• 함수 공간에 대한 사전분포와 관측된 f 값 기반의 조건부 갱신을 이용해 해 궤적에 대한 연합 가우시안 프로세스 사후분포를 구성한다.
• 적절한 공분산 구조를 갖춘 확률적 프레임워크에 ODE를 통합함으로써, 초기값 문제(IVPs)와 경계값 문제(BVPs)를 모두 처리한다.
• 해에 대한 사후분포를 통해 근사화가 가능해져, 후행 통계에 대한 수치 오차의 영향을 줄일 수 있다.
• 해 공간을 효율적으로 표현하기 위해 카르누엔-뢰브 유형 전개를 사용하는 확률적 콜로케이션 방법을 활용한다.
• MATLAB로 구현된 이 방법은 기하곡선 계산 및 주기하곡선 분석과 같은 리만 기하학 통계 작업에 적용되었다.

실험 결과

연구 질문

• RQ1 구조적 불확실성을 갖춘 확률적 ODE 솔버가 리만 기하학 통계의 통계적 견고성 향상에 기여할 수 있는가?
• RQ2 해의 불확실성에 대해 근사화함으로써 기하곡선 계산에서 수치 오차에 대한 민감도가 감소하는가?
• RQ3 낮은 정밀도에도 불구하고, bvp5c와 같은 결정론적 솔버보다 확률적 솔버가 더 빠른 계산을 달성할 수 있는가?
• RQ4 확률적 솔버에서 도출된 불확실성 추정치가 기하곡선 길이 추정에서 실제 수치 오차를 잘 반영하는가?
• RQ5 고차원 리만 기하학 다양체에서 이 확률적 접근의 확장성은 어떠한가?

주요 결과

• 확률적 솔버는 고차원 설정에서 MATLAB의 bvp5c 솔버 대비 약 한 계단 정도의 런타임 감소를 달성했다.
• 확률적 솔버에서 도출된 불확실성 추정치는 bvp5c의 점 추정치와의 비교를 통해 실제 수치 오차를 정확히 반영하고 있음을 검증했다.
• 1000개의 기하곡선에 대해, 확률적 솔버가 추정한 곡선 길이는 bvp5c의 신뢰할 수 있는 추정치의 ±2 표준편차 내에 있었으며, 이는 잘 校정된 불확실성임을 시사한다.
• 50차원의 인간 신체 형태 데이터셋에서, 확률적 솔버는 주기하곡선을 약 10분 내로 계산하여 사후 표본을 통해 불확실성의 시각화를 가능하게 했다.
• 결정론적 솔버에서는 불가능한 주기하곡선의 불확실성 시각화가 가능했으며, 이는 보조 영상과 그림 6에서 확인할 수 있다.
• 확률적 솔버의 계산 비용은 곡선 길이에 관계없이 거의 일정했지만, bvp5c의 비용은 복잡도 증가에 따라 크게 증가했다.