[논문 리뷰] Stable Implementation of Probabilistic ODE Solvers

Nicholas Krämer, Philipp Hennig|arXiv (Cornell University)|2020. 12. 18.

Model Reduction and Neural Networks참고 문헌 36인용 수 7

한 줄 요약

이 논문은 정확한 초기화, 단계 크기와의 안정성 분리에 기여하는 좌표 전환 전처리기, 그리고 제곱근 필터링을 조합하여 고차수 확률적 ODE 해법기의 수치적 안정성 구현을 제안한다. 이 방법은 해의 차수 11까지 안정적인 계산을 가능하게 하며, 전통적인 고차수 룬게-쿠타 방법과 경쟁 가능한 수렴 속도를 달성하면서도 校정된 불확실성 정량을 제공한다.

ABSTRACT

Probabilistic solvers for ordinary differential equations (ODEs) provide efficient quantification of numerical uncertainty associated with simulation of dynamical systems. Their convergence rates have been established by a growing body of theoretical analysis. However, these algorithms suffer from numerical instability when run at high order or with small step-sizes -- that is, exactly in the regime in which they achieve the highest accuracy. The present work proposes and examines a solution to this problem. It involves three components: accurate initialisation, a coordinate change preconditioner that makes numerical stability concerns step-size-independent, and square-root implementation. Using all three techniques enables numerical computation of probabilistic solutions of ODEs with algorithms of order up to 11, as demonstrated on a set of challenging test problems. The resulting rapid convergence is shown to be competitive to high-order, state-of-the-art, classical methods. As a consequence, a barrier between analysing probabilistic ODE solvers and applying them to interesting machine learning problems is effectively removed.

연구 동기 및 목표

• 작은 단계 크기와 고차수에서조차 강력한 이론적 수렴 보장에도 불구하고 발생하는 고차수 확률적 ODE 해법기의 수치적 불안정성을 해결하기 위해.
• 기계 학습 및 과학 계산 분야에서 고차수 확률적 해법기를 실용적으로 구현할 수 있도록 수치적 안정성 장벽을 제거하기 위해.
• 베이지안 상태 추정 및 가우스-마르코프 과정과 호환되는 안정적이고 효율적이며 불확실성 인식이 가능한 수치적 통합 프레임워크를 개발하기 위해.
• 확률적 해법기가 전통적인 고차수 방법과 경쟁 가능한 수렴 속도를 달성하면서도 불확실성 정량을 유지할 수 있는지 입증하기 위해.

제안 방법

• 상태 공간을 변환하여 수치적 안정성이 단계 크기와 독립적이게 하는 좌표 전환 전처리기를 사용한다.
• 고차수 스킴에서의 조기 수치 발산을 방지하기 위해 사전 평균과 공분산의 정확한 초기화를 수행한다.
• 칼만 필터와 스무딩에서 콜레스키 분해를 통한 제곱근 구현을 적용하여 수치적 안정성과 공분산의 양의 정부호성을 유지한다.
• 자기 미분을 통한 재귀적 미분 계산과 효율적인 다단계 전파를 위한 노르스벡 유형 표현을 통합한다.
• 필터링 및 스무딩 단계를 전처리된 공간에서 재구성하고, 각 업데이트 후 원래 좌표계로의 복원을 통해 해석 가능성 유지한다.
• 특히 정보 업데이트 및 조지프 스타일 스무딩 단계에서 행렬 분해 과정의 수치적 안정성을 유지하기 위해 전반적으로 QR 분해를 사용한다.

실험 결과

연구 질문

• RQ1 작은 단계 크기에서 알려진 수치적 불안정성에도 불구하고, 차수 11까지의 고차수 확률적 ODE 해법기를 안정적으로 구현할 수 있는가?
• RQ2 제안된 전처리 및 제곱근 구현이 ODE에 대한 가우스-마르코프 과정 회귀에서 단계 크기 의존성 불안정성을 제거하는가?
• RQ3 결과적으로 얻어진 해법기가 전통적인 고차수 룬게-쿠타 방법과 경쟁 가능한 수렴 속도를 달성하면서도 校정된 불확실성 추정치를 제공할 수 있는가?
• RQ4 좌표 전환 전처리기가 수치적 안정성을 단계 크기 선택에서 얼마나 잘 분리하는가?
• RQ5 정확한 초기화, 전처리, 제곱근 필터링의 조합이 굳은 및 혼돈 시스템에서 확률적 ODE 해법기의 강건성을 얼마나 향상시키는가?

주요 결과

• 제안된 구현은 고차수 11까지의 확률적 ODE 해법기 계산을 안정적으로 가능하게 하여 고차수 해법기의 실용적 응용에서 주요 장벽을 극복한다.
• 로트카-볼테라, 3체 문제, 굳은 바르더폴 문제에서의 실험을 통해, 이 방법이 전통적인 고차수 룬게-쿠타 방법과 동일한 수렴 속도를 달성함을 입증하였다.
• 좌표 전환 전처리기가 수치적 안정성을 단계 크기에서 성공적으로 분리하여 매우 작은 단계 크기에서도 안정적인 작동이 가능함을 보였다.
• 제곱근 구현은 통합 과정 全 과정에서 사후 공분산이 대칭적이고 양의 준정부정임을 보장한다.
• 정확한 초기화, 전처리, 제곱근 필터링의 조합은 기존 구현 대비 특히 스무딩 단계에서 반복 오차 누적을 감소시킨다.
• 결과적으로 얻어진 확률적 해법기는 전역 오차를 반영하는 校정된 불확실성 정량을 제공하므로, 신경 ODE 및 역문제를 포함한 기계 학습 파ipeline에서 활용하기에 적합하다.