[論文レビュー] Information Geometry and Sequential Monte Carlo

Aaron Sim, Sarah Filippi+1 more|arXiv (Cornell University)|Dec 4, 2012

Markov Chains and Monte Carlo Methods参考文献 11被引用数 7

ひとこと要約

本稿では、高次元で相関の高いパrameter空間におけるサンプリング効率を向上させるために、リーマン多様体メトロポリス補正ランジュバンアルゴリズム（mMALA）を遷移カーネルとして用いる情報幾何を強化した順序モンテカルロ（SMC）サンプラーを提案する。統計多様体空間における測地線に沿って中間分布を構築することにより、Lotka-VolterraモデルおよびFitzhugh-Nagumoモデルを用いた実験で、標準の適応的ランダムウォークカーネルと比較して、はるかに高い有効サンプルサイズとより高い統計的頑健性を達成した。

ABSTRACT

This paper explores the application of methods from information geometry to the sequential Monte Carlo (SMC) sampler. In particular the Riemannian manifold Metropolis-adjusted Langevin algorithm (mMALA) is adapted for the transition kernels in SMC. Similar to its function in Markov chain Monte Carlo methods, the mMALA is a fully adaptable kernel which allows for efficient sampling of high-dimensional and highly correlated parameter spaces. We set up the theoretical framework for its use in SMC with a focus on the application to the problem of sequential Bayesian inference for dynamical systems as modelled by sets of ordinary differential equations. In addition, we argue that defining the sequence of distributions on geodesics optimises the effective sample sizes in the SMC run. We illustrate the application of the methodology by inferring the parameters of simulated Lotka-Volterra and Fitzhugh-Nagumo models. In particular we demonstrate that compared to employing a standard adaptive random walk kernel, the SMC sampler with an information geometric kernel design attains a higher level of statistical robustness in the inferred parameters of the dynamical systems.

研究の動機と目的

• 力学系のベイズ推論でよく見られる高次元かつ相関の高いパrameter空間において、順序モンテカルロ（SMC）サンプラーの効率と頑健性を向上させること。
• 特にリーマン多様体構造と測地線路を含む情報幾何の原則を、SMCの遷移カーネル設計に統合すること。
• 累積的発散を最小化するように、SMCにおける中間分布の系列を統計多様体空間内の測地線に沿って配置すること。
• SMCにおけるmMALAを提案分布カーネルとして用いることで、標準の適応的ランダムウォークカーネルと比較して、より高い有効サンプルサイズと信頼性の高いパラメータ推定が達成されることを示すこと。
• 常微分方程式モデルを含む複雑な推論問題における効率的なSMCアルゴリズム設計の理論的・幾何的枠組みを提供すること。

提案手法

• パラメータ空間の曲率を考慮するためにフィッシャー情報計量を用い、リーマン多様体メトロポリス補正ランジュバンアルゴリズム（mMALA）をSMCフレームワーク内での完全に適応可能な遷移カーネルとして適用する。
• 統計多様体における測地線に沿って中間分布を構築し、連続する分布間のカルバック・ライブラー発散を最小化することで、提案分布の効率を向上させる。
• ランジュバン拡散SDEの高次オーダー・オザキ離散化を用いて、収束性の優れたより安定的かつ正確な提案分布を導出する。
• 統計多様体上でのフィッシャー計量およびその一次および二次微分の明示的表現を導出することで、mMALAカーネルにおける曲率に依存する提案分布を可能にする。
• リーマン計量を用いて提案カーネル内の状態依存の共分散構造を定義し、高次元かつ強く相関するパラメータ空間の効率的探索を可能にする。
• 得られたSMCサンプラーを、常微分方程式を用いてシステムのダイナミクスをモデル化する力学系の逐次ベイズ推論問題に適用する。

実験結果

リサーチクエスチョン

• RQ1 情報幾何が、高次元かつ相関のあるパラメータ空間における順序モンテカルロ（SMC）サンプラーに効果的に統合可能か？
• RQ2 統計多様体空間における測地線に沿って中間分布を配置することで、SMCアルゴリズムにおける有効サンプルサイズの向上と収束性の改善が達成されるか？
• RQ3 mMALAカーネルを用いたSMCサンプラーの性能は、標準の適応的ランダムウォークカーネルと比較して、統計的頑健性およびパラメータ推定精度の面で優れているか？
• RQ4 mMALAフレームワーク内でのランジュバン拡散提案において、オーダー2のオザキ離散化と比較して、Eulerスキームを用いる影響は何か？
• RQ5 常微分方程式でモデル化された力学系の推論において、フィッシャー計量による曲率に配慮したサンプリングは、どの程度性能を向上させるか？

主な発見

• テストされた力学系において、情報幾何を組み込んだmMALAカーネルを有するSMCサンプラーは、標準の適応的ランダムウォークカーネルと比較して、はるかに高い有効サンプルサイズを達成した。
• 統計多様体空間における測地線に沿った中間分布の配置は、より効率的な探索と連続する分布間の発散の低減をもたらし、サンプリング効率を向上させた。
• パラメータ空間のリーマン幾何に基づいたmMALAカーネルにより、ベイズ推論における強く相関する高次元パラメータ空間のより効果的な探索が可能になった。
• Lotka-VolterraおよびFitzhugh-Nagumoモデルにおいて、提案手法は、分散の低減と収束安定性の向上を伴い、より高い統計的頑健性を示した。
• ランジュバン提案における高次オーダー・オザキ離散化の使用は、Eulerスキームと比較して、より優れた数値的安定性と真の拡散過程の良好な近似を実現した。
• 統計多様体上でのフィッシャー計量およびその微分の明示的解析的表現が導出され、SMCフレームワーク内での曲率に依存する提案分布の実現が可能になった。