[論文レビュー] State Space Expectation Propagation: Efficient Inference Schemes for Temporal Gaussian Processes

William J. Wilkinson, Paul E. Chang+2 more|arXiv (Cornell University)|Jul 12, 2020

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

本稿では、時系列および空間時系列ガウス過程における近似ベイズ推論を反復的カルマンスムージング更新として定式化する統一的フレームワークであるステートスペース期待値伝搬（SSEP）を提案する。期待値伝搬（EP）をステートスペースモデル内に再定式化することにより、線形時間の推論を達成し、EPの精度と線形化の効率性を統合し、多様な尤度関数やデータ構造においてスケーラブルかつ高次元の推論を可能にする。音声、分類、空間点過程の実験的検証により有効性が示された。

ABSTRACT

We formulate approximate Bayesian inference in non-conjugate temporal and spatio-temporal Gaussian process models as a simple parameter update rule applied during Kalman smoothing. This viewpoint encompasses most inference schemes, including expectation propagation (EP), the classical (Extended, Unscented, etc.) Kalman smoothers, and variational inference. We provide a unifying perspective on these algorithms, showing how replacing the power EP moment matching step with linearisation recovers the classical smoothers. EP provides some benefits over the traditional methods via introduction of the so-called cavity distribution, and we combine these benefits with the computational efficiency of linearisation, providing extensive empirical analysis demonstrating the efficacy of various algorithms under this unifying framework. We provide a fast implementation of all methods in JAX.

研究の動機と目的

• 状態空間フレームワークの下で近似推論手法を統一することで、ガウス過程における非共役尤度の計算非可解性に対処する。
• 確率的微分方程式（SDE）表現とカルマンフィルタリングを活用することで、大規模時系列における標準GP推論の立方時間スケーリングを克服する。
• 1次元が時系列的でない場合でも、1次元を逐次的とみなすことにより、高次元の空間時系列問題に対する効率的かつスケーラブルな推論を実現する。
• EP、EKF、UKF、VIといった複数の推論スキームを最小限のコード変更でサポートする柔軟で統一された実装フレームワークを提供する。
• 非ガウス尤度下でも、標準EPやVIに比べて精度と安定性に優れる反復線形化に基づく推論（例：EEP）の優位性を実証する。

提案手法

• ガウス過程モデルを連続時間の確率的微分方程式（SDE）として再定式化し、カルマンフィルタリングおよびスムージングにより正確な線形時間推論を可能にする。
• 期待値伝搬（EP）を、キャビティ分布を伴うカルマンスムージングとして表現し、モーメントマッチングの代わりに線形化を用いることで、古典的手法と統一する。
• 複数回の反復を通じて線形化を改善する反復推論スキーム「拡張期待値伝搬（EEP）」を導入し、標準EKFよりも精度を向上させる。
• テイラー展開が不正確な尤度関数に対して、立方体点による統計的線形化を適用し、ロバストネスと効率性のバランスを取る。
• 1次元を逐次的とみなすことにより、多次元入力への拡張を実現（例：空間グリッドを時間とみなす）。これにより、その軸に沿って線形時間推論が可能になる。
• すべての手法をJAXで実装し、自動微分とGPU加速を活用した高性能で微分可能かつ合成可能な推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 期待値伝搬（EP）を、単一の状態空間推論フレームワークの下で、古典的手法のカルマンスムージングおよびフィルタリングと統一できるか？
• RQ2 EPのモーメントマッチングを線形化に置き換えると、非共役尤度を持つガウス過程モデルにおける推論精度と計算効率にどのような影響を与えるか？
• RQ3 非ガウス尤度を持つ高次元空間時系列問題に対して、状態空間フレームワークはどの程度スケーラブルに拡張可能か？
• RQ4 反復線形化（例：EEP）は、標準EPや変分推論に比べて、精度と安定性の面でどのような状況で優れるか？
• RQ5 1次元時系列に限定されず、1次元を逐次的とみなすことにより、多次元問題へ一般化可能か？

主な発見

• 提案されたステートスペース期待値伝搬（SSEP）フレームワークは、EP、EKF、UKF、変分推論を1つのカルマンスムージング定式化に統一し、一貫性があり効率的な推論を可能にする。
• 3反復の拡張期待値伝搬（EEP）はバナナ分類タスクで優れた性能を発揮し、VGPベースラインに非常に近い精度を達成し、EPやVIよりも精度と安定性に優れる。
• 6次元尤度サイトを有する音声分類タスクでは、EEPが立方体点ベースの手法よりも速く、1データポイントあたりの尤度評価回数が少ない。
• 125,000点のジャングル空間点過程では、EEPが250次元のサイトパラメータに対しても効果的にスケーリングされ、他の多くの手法が高次元更新に起因する非現実的さに陥るのを回避する。
• 多次元問題における逐次的軸に沿って線形時間推論を達成し、大規模グリッド（例：500×250の空間グリッドに500ステップの時系列）でもスケーラブルな推論を可能にする。
• 尤度が非常に非線形的でキャビティ分散が大きい場合には、立方体点ベースの手法が線形化よりロバストであるが、高次元ではスケーリングが著しく劣るため、ロバストネスとスケーラビリティのトレードオフが顕在化する。