[論文レビュー] Active Uncertainty Calibration in Bayesian ODE Solvers

Hans Kersting, Philipp Hennig|arXiv (Cornell University)|May 11, 2016

Gaussian Processes and Bayesian Inference参考文献 18被引用数 19

ひとこと要約

本稿では、ベイジアン・クアドリチャチャー（BQ）を用いて勾配の不正確さを能動的に学習することで、フィルタリングベースの手法における不確実性のキャリブレーションを向上させる、新しい確率的ODEソルバーであるベイジアン・クアドリチャチャー・フィルタリング（BQF）を提案する。決定的評価を用いて勾配推定を精緻化することで、BQFはサンプリングベースの手法よりも高い平均精度を達成し、標準的なフィルタリング手法よりも優れた不確実性キャリブレーションを実現するが、計算コストの増加は最小限に抑えられる。

ABSTRACT

There is resurging interest, in statistics and machine learning, in solvers for ordinary differential equations (ODEs) that return probability measures instead of point estimates. Recently, Conrad et al. introduced a sampling-based class of methods that are 'well-calibrated' in a specific sense. But the computational cost of these methods is significantly above that of classic methods. On the other hand, Schober et al. pointed out a precise connection between classic Runge-Kutta ODE solvers and Gaussian filters, which gives only a rough probabilistic calibration, but at negligible cost overhead. By formulating the solution of ODEs as approximate inference in linear Gaussian SDEs, we investigate a range of probabilistic ODE solvers, that bridge the trade-off between computational cost and probabilistic calibration, and identify the inaccurate gradient measurement as the crucial source of uncertainty. We propose the novel filtering-based method Bayesian Quadrature filtering (BQF) which uses Bayesian quadrature to actively learn the imprecision in the gradient measurement by collecting multiple gradient evaluations.

研究の動機と目的

• 確率的ODEソルバーにおける計算コストと不確実性キャリブレーションのトレードオフを解消すること。
• 通常、過信度の高いまたは適応性に欠ける分散を示すフィルタリングベースの確率的ODEソルバーにおける不確実性推定のキャリブレーションを改善すること。
• 高次の収束性と正確な平均推定を維持しつつ、意味のある不確実性の定量化を可能にする手法を開発すること。
• サンプリングベースのソルバー（適切にキャリブレートされているが高価）とフィルタリングベースのソルバー（安価だがキャリブレーションが悪い）の間のギャップを埋めること。
• 主な不確実性の原因＝ODE積分における勾配測定の不正確さを同定し、能動的に是正すること。

提案手法

• ODEの解を線形ガウス過程の近似推論として定式化し、解をガウス過程としてモデル化する。
• ODEソルバーにおけるエピステム的不確実性の主要因として、不正確な勾配測定を同定する。
• ベイジアン・クアドリチャチャー（BQ）を適用し、勾配推定の不確実性を最小化するように、勾配評価点を戦略的に選択することで、ベクトル場fを能動的に学習する。
• BQをフィルタリングフレームワークに統合し、標準的な勾配評価の代わりにBQで推定された勾配を用いることで、事後分布の平均と分散のキャリブレーションを向上させる。
• 解の上にガウス過程事前分布を設定し、各ステップでBQで推定された勾配に基づいて事後分布を更新することで、計算コストの増加を最小限に抑える。
• 状態は解u(t)であり、観測モデルはBQで推定されたf(t, u(t))に基づき、時間経過に伴う不確実性の伝播を扱う状態空間モデルを採用する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン・クアドリチャチャーによる勾配評価の能動的学習は、フィルタリングベースのODEソルバーにおける不確実性キャリブレーションを改善できるか？
• RQ2 BQFは、計算コストを低く抑えつつ、サンプリングベースのソルバーに比べてより高い平均精度を達成できるか？
• RQ3 BQFの不確実性キャリブレーションは、標準的なフィルタリングベースおよびサンプリングベースのODEソルバーと比べてどのように異なるか？
• RQ4 主な不確実性の原因＝不正確な勾配測定は、決定的サンプリング戦略を用いて効果的にモデル化・低減できるか？
• RQ5 少数の勾配評価回数で、適切にキャリブレートされた不確実性を伴う高次の収束性を達成することは可能か？

主な発見

• BQFは、ヴァン・デル・ポール振動子において、最新のサンプリングベースのソルバー（MLおよびMC法）を上回る平均推定を達成し、両者よりも低い誤差を示した。
• 後期の時刻（例：t = 54）において、BQFは5回以上の勾配評価を実施することで、MLベースラインを著しく下回る誤差を達成し、収束性の向上を示した。
• BQFの不確実性推定は、時間経過に伴い単調に増加する傾向の標準的なフィルタリングベース手法よりも、より適切にキャリブレートされている。
• サンプリングベースの手法（MC）は、急勾配領域では不確実性が増加し、平坦領域では減少するなど、より適応的な不確実性スケーリングを示したのに対し、BQFとMLでは不確実性の増加が単調であった。
• より良い不確実性キャリブレーションを達成しているにもかかわらず、MC手法は各ステップでのガウスノイズの蓄積により、平均誤差がBQFよりも高くなった。
• BQFは、優れたトレードオフを達成した：MCおよびMLを上回る高い平均精度を維持するとともに、標準的なフィルタリング手法よりもより適応的かつ適切にキャリブレートされた不確実性測定を実現した。