[論文レビュー] On the Bayesian Solution of Differential Equations

Junyang Wang, Jon Cockayne+1 more|arXiv (Cornell University)|May 18, 2018

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本稿は、Lie群の対称性解析と非パラメトリック回帰を、変換された解空間で組み合わせることで、常微分方程式（ODE）を解くための基礎的ベイズ確率的数値手法を提案する。可解なLie代数を用いて正確な情報作用素を定義することで、離散化誤差の厳密かつ一貫した伝播が可能となり、勾配評価の回数が増えるにつれて事後分布が真の解に収束することが示された。

ABSTRACT

The interpretation of numerical methods, such as finite difference methods for differential equations, as point estimators allows for formal statistical quantification of the error due to discretisation in the numerical context. Competing statistical paradigms can be considered and Bayesian probabilistic numerical methods (PNMs) are obtained when Bayesian statistical principles are deployed. Bayesian PNM are closed under composition, such that uncertainty due to different sources of discretisation can be jointly modelled and rigorously propagated. However, we argue that no strictly Bayesian PNM for the numerical solution of ordinary differential equations (ODEs) have yet been developed. To address this gap, we work at a foundational level, where a novel Bayesian PNM is proposed as a proof-of-concept. Our proposal is a synthesis of classical Lie group methods, to exploit the underlying structure of the gradient field, and non-parametric regression in a transformed solution space for the ODE. The procedure is presented in detail for first order ODEs and relies on a certain technical condition -- existence of a solvable Lie algebra -- being satisfied. Numerical illustrations are provided.

研究の動機と目的

• ODEを解くための厳密なベイズ確率的数値法（PNM）の欠如に対処すること。
• 離散化に起因する不確実性を厳密に定量化・伝播できる形式的なベイズ枠組みを構築すること。
• 可解なLie代数を活用することで情報作用素Aを正確に定義し、従来のPNM手法における不整合を回避すること。
• ベイズ的原則を保ちつつODEの幾何的構造を尊重する、概念的実証手法を提示すること。
• 将来的な正確または原理的近似ベイズPNMのための基盤を提供すること。

提案手法

• ODEをLie群の対称性を用いて標準座標（r, s）に変換し、解が明確に定義された多様体上に位置することを保証する。
• 変換変数s(r)に対して、s(r) = log(r) + log(x_T)ζ(r) として事前分布を構築する。ここでζは単調かつ有界で、ζ(y₀) = 0 を満たす。
• ζの事前分布はLópez-Loperaら（2017）の手法を用いてモデル化し、変換空間における非パラメトリック回帰を可能にする。
• 勾配場の評価f(x_i, y_i)を標準座標に写像し、この空間でベイズ更新を用いて事後分布を計算する。
• 元の(x, y)空間に解を再構成することで、すべての事後サンプルが有効な関数（xに関して一価関数）であることを保証する。
• 本手法は、ODEのベクトル場に対して可解なLie代数が存在することに依存しており、これにより変換と正確な情報作用素の存在が保証される。

実験結果

リサーチクエスチョン

• RQ1 ODEに対して、微分方程式の内在的幾何的構造を尊重する厳密なベイズ確率的数値法を構築できるか？
• RQ2 勾配評価f(x_i, y_i)が真の解y†の有効な観測値であるとみなせるような正確な情報作用素Aをどのように定義できるか？
• RQ3 Lie群の対称性は、ODE解のための整合的かつ一貫性のあるベイズ枠組みを構築する上で果たす役割は何か？
• RQ4 解空間における適切な定式化と関数的整合性を保証するように、事前分布をどのように構築できるか？
• RQ5 離散化に起因する不確実性を、ベイズ枠組み内で複数の数値演算の合成に一貫して伝播できるか？

主な発見

• 提案手法は、Lie群の対称性を用いた座標変換により、正確な情報作用素を有するODE用ベイズPNMを構築した。
• 本手法は、(x, y)平面上のすべての事後サンプルが明確に定義された関数であることを保証し、多価解の発生を回避する。
• 勾配評価の回数nが増加するにつれて、事後分布質量が真の解に収束するため、頻度的整合性が示された。
• 図4および図5の数値的例示では、nの増加に伴い、(r, s)空間および(x, y)空間の両方で事後サンプルが真の解に収束することが示された。
• 本手法は、f(x_i, y_i)を解そのものに対する直接観測とみなす従来のPNMに起因する不整合を克服する、完全なベイズPNMの概念的実証を提供する。
• 本手法は、ODEが可解なLie代数を有する場合に限られるが、このクラスにはBlumanとAnco（2002）が研究した重要なケースが含まれる。