[論文レビュー] Asynchronous Anytime Sequential Monte Carlo

Brooks Paige, Frank Wood+2 more|arXiv (Cornell University)|Jul 10, 2014

Markov Chains and Monte Carlo Methods参考文献 12被引用数 21

ひとこと要約

本稿では、再サンプリング中にバリア同期を排除するために、各再サンプリングポイントをキューとして扱うことで、非同期的かついつでも利用可能な逐次モンテカルロアルゴリズムであるパーティクルカスケードを導入する。この手法により、固定メモリ予算内で無制限のパーティクル生成が可能となり、不偏な周辺尤度推定が達成され、マルチコアおよびGPUシステムにおける収束速度とスケーラビリティにおいて従来のSMC手法を上回る性能を発揮する。

ABSTRACT

We introduce a new sequential Monte Carlo algorithm we call the particle cascade. The particle cascade is an asynchronous, anytime alternative to traditional particle filtering algorithms. It uses no barrier synchronizations which leads to improved particle throughput and memory efficiency. It is an anytime algorithm in the sense that it can be run forever to emit an unbounded number of particles while keeping within a fixed memory budget. We prove that the particle cascade is an unbiased marginal likelihood estimator which means that it can be straightforwardly plugged into existing pseudomarginal methods.

研究の動機と目的

• 従来のパーティクルフィルタリングアルゴリズムにおけるバリア同期による性能ボトルネックを解消すること。
• 固定メモリ予算内で無限にパーティクルを生成できる「いつでも利用可能（anytime）」のアルゴリズムを開発すること。
• 並列処理およびGPUアクセcelerated SMC推論におけるスループットとメモリ効率を向上させること。
• PIMH や SMC² のような擬似周辺尤度法への直接統合を可能にするために、不偏な周辺尤度推定を提供すること。
• マルチコアおよびGPU環境を含む多様なハードウェア構成において、効率的にスケーリングできること。

提案手法

• パーティクルカスケードは、グローバルな再サンプリングバリアを、パーティクルが局所的に利用可能な重み情報に基づいて自身の子孫数を決定するキューに基づく再サンプリングメカニズムに置き換える。
• 各パーティクルは、再サンプリングキューに到着した以前のパーティクルの重みと自らの重みを比較し、重みを更新した後、他のパーティクルの待機をせずに処理を継続する。
• アルゴリズムは、パーティクルの生存期間と破棄を動的に管理することで、固定メモリ予算を維持し、無限の実行が可能になる。
• グローバル同期を必要としない局所的な意思決定ルールを用いることで、並列処理スループットが向上する。
• 適切な重み伝搬と正規化を保つことで、周辺尤度の不偏推定を保証する。
• 任意の確率的グラフィカルモデルをサポートし、SMCベースの確率的プログラミングおよび擬似周辺尤度推定フレームワークと互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 再サンプリング中にバリア同期を排除しつつも統計的正しさを保つような逐次モンテカルロアルゴリズムを設計できるか？
• RQ2 このようなアルゴリズムを真に「いつでも利用可能」にし、固定メモリ予算内で継続的なパーティクル生成が可能になるか？
• RQ3 同期の排除が、現代の並列およびGPUアーキテクチャにおける性能とスケーラビリティを向上させるか？
• RQ4 このアルゴリズムは、PIMH や SMC² のような擬似周辺尤度法に適した不偏な周辺尤度推定を提供できるか？
• RQ5 複雑なモデルにおいて、標準的なSMCおよびiCSMCと比較して、収束速度と効率性においてパーティクルカスケードはどのように異なるか？

主な発見

• パーティクルカスケードは、標準的なSMCおよびiCSMCと比較して、周辺尤度推定において顕著に高速な収束を達成しており、特にパーティクル数が増加する際の効果が顕著である。
• 8コアのEC2インスタンスにおいて、パーティクル数が10⁴から10⁵に増加するに従い、標準的SMCは実行不能になる一方、パーティクルカスケードは著しく優れた性能を示す。
• より大きなハードウェア環境において、相対的な性能が向上し、計算リソースが拡張するにつれてサンプルあたりの平均処理時間が減少する。
• 小さなパーティクル数では、標準的SMCのほうが初期オーバーヘッドが低いため高速であるが、パーティクル数が増加するにつれてその利点は薄れる。
• パーティクルカスケードは高いスループットを維持し、パーティクル数の増加に伴う同期的SMCの性能崩壊を回避する。
• アルゴリズムは不偏な周辺尤度推定を提供しており、PIMH や SMC² のような擬似周辺尤度推定法への直接適用が可能である。