[論文レビュー] De-Sequentialized Monte Carlo: a parallel-in-time particle smoother

Adrien Corenflos, Nicolás Chopin+1 more|arXiv (Cornell University)|Feb 4, 2022

Statistical Methods and Bayesian Inference被引用数 4

ひとこと要約

本稿では、結合的演算子と並列スキャンアルゴリズムに基づく非逐次的再帰構造を用いて、T個の時間ステップに対してO(log T)のスパン複雑度を達成する並列時系列粒子スムージング手法dSMCを提案する。この手法により、マルチコアハードウェア上でより高速なベイズスムージングとパrameter推定が可能となり、理論的Lp収束バウンドと遅延リサンプリングおよび改良された提案設計による分散低減が実現される。

ABSTRACT

Particle smoothers are SMC (Sequential Monte Carlo) algorithms designed to approximate the joint distribution of the states given observations from a state-space model. We propose dSMC (de-Sequentialized Monte Carlo), a new particle smoother that is able to process $T$ observations in $\mathcal{O}(\log T)$ time on parallel architecture. This compares favourably with standard particle smoothers, the complexity of which is linear in $T$. We derive $\mathcal{L}_p$ convergence results for dSMC, with an explicit upper bound, polynomial in $T$. We then discuss how to reduce the variance of the smoothing estimates computed by dSMC by (i) designing good proposal distributions for sampling the particles at the initialization of the algorithm, as well as by (ii) using lazy resampling to increase the number of particles used in dSMC. Finally, we design a particle Gibbs sampler based on dSMC, which is able to perform parameter inference in a state-space model at a $\mathcal{O}(\log(T))$ cost on parallel hardware.

研究の動機と目的

• 逐次的粒子スムージング手法の計算ボトルネックを解消すること。これは、単一コアシステム上で時間ステップTに対して線形にスケールする。
• 並列アーキテクチャ上での粒子スムージングに、非線形的スパン複雑度（O(log T)）を実現すること。これにより、標準的なSMCにおける固有の逐次的依存性を打ち破る。
• スケーラブルで統計的に妥当な粒子スムージング手法を開発し、収束性を維持しながら壁時計時間の大幅な短縮を実現すること。
• dSMCを粒子ギブスサンプラーに統合することで、対数時間複雑度を達成し、効率的なパrameter推定を可能とすること。
• 計算コストを増加させることなく、特に高次元またはマルチモーダルな事後分布において、スムージング推定の分散を低減すること。

提案手法

• dSMCは、並列スキャン（プレフィックス和）アルゴリズムを用いて並列化を可能にするため、結合的演算子を用いて逐次的粒子スムージング再帰を再定式化する。
• 時間ステップを二分木構造にグループ化することで、時間方向の非逐次的再帰を構築し、並列ハードウェア上でO(log T)の深さ計算を実現する。
• パrameter推定のための不偏カップリングと粒子ギブスサンプリングをサポートするため、dSMCの条件付き版を採用する。
• 重みをオンデマンドで計算し、アクティブな粒子ペアに対してのみ再サンプリングを行うことで、メモリと計算負荷を低減するための遅延リサンプリング方式を導入する。
• 粒子の多様性を向上させ、分散を低減するために、LGSSM（線形ガウス状態空間モデル）近似を提案分布に用いる。
• スケーラビリティとメモリフットプリントの低減をさらに促進するため、Murrayら（2016）の並列リサンプリングフレームワークを活用する。

実験結果

リサーチクエスチョン

• RQ1 時間方向に並列化された粒子スムージングは、マルチコアシステム上でO(log T)のスパン複雑度を達成しつつ、統計的正確性を維持できるか？
• RQ2 結合的演算子と再帰的分解を用いて、SMCスムージングにおける固有の逐次的依存性をどのように解消できるか？
• RQ3 提案されたdSMCアルゴリズムの理論的収束速度は何か？また、Tに明示的な依存関係を持つLpノルムでのバウンドは得られるか？
• RQ4 特に高次元またはマルチモーダルな事後分布において、計算コストを増加させることなく、スムージング推定の分散を低減する方法は何か？
• RQ5 dSMCは、対数時間複雑度を達成する不偏パラメータ推定を可能にする粒子ギブスサンプラーに効果的に統合できるか？

主な発見

• dSMCは、Tに線形にスケールする従来の逐次的スムージング手法と比較して、顕著な高速化を達成するO(log T)のスパン複雑度を実現する。
• アルゴリズムはTに多項式的に増加する明示的なLp収束バウンドを提供し、Tが増加するにつれて理論的整合性が保証される。
• 遅延リサンプリングにより、全重み再計算を回避することで、メモリ使用量と計算オーバーヘッドが低減され、高次元設定でのスケーラビリティが向上する。
• 提案分布にLGSSM近似を用いることで、粒子の多様性が著しく向上し、スムージング推定の分散が低減される。
• dSMCにより、壁時計時間複雑度がO(log T)の粒子ギブスサンプラーが実現され、状態空間モデルにおけるベイズ的パrameter推定に非常に効率的である。
• Jacobら（2019）の不偏カップリングスムージングフレームワークと互換性があり、独立推定の平均化により分散低減が可能となる。