[論文レビュー] Robust and Scalable Bayesian Online Changepoint Detection

Matias Altamirano, François‐Xavier Briol+1 more|arXiv (Cornell University)|Feb 9, 2023

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿では、拡散スコアマッチングを用いて、保証されたロバスト性と閉形式の事後分布更新を達成する、頑健かつスケーラブルなベイジアンオンライン変化点検出アルゴリズム ${\mathcal{D}}_{m}$-BOCD を提案する。実世界の外れ値を含むデータ、例えば2013年のTwitterフラッシュクラッシュや英国国債利回りにおいても、精度を維持しながら、最も近い競合手法（$\beta$-BOCD）の10倍以上高速に動作する。

ABSTRACT

This paper proposes an online, provably robust, and scalable Bayesian approach for changepoint detection. The resulting algorithm has key advantages over previous work: it provides provable robustness by leveraging the generalised Bayesian perspective, and also addresses the scalability issues of previous attempts. Specifically, the proposed generalised Bayesian formalism leads to conjugate posteriors whose parameters are available in closed form by leveraging diffusion score matching. The resulting algorithm is exact, can be updated through simple algebra, and is more than 10 times faster than its closest competitor.

研究の動機と目的

• モデル不適合や外れ値の下で標準的なベイジアンオンライン変化点検出（BOCD）に見られる頑健性の欠如に対処すること。
• 変分近似が高コストであるため、$\beta$-BOCD などの既存の頑健手法のスケーラビリティの制限を克服すること。
• 指数分布族のモデルに対して、正確な閉形式の事後分布更新を可能にする一般化されたベイジアンフレームワークを構築すること。
• 提案手法が、標準BOCDと同等の計算複雑度（$\mathcal{O}(T(d^2 + p^2))$）を維持しながら、速度と頑健性の面で $\beta$-BOCD を上回ることを示すこと。
• 標準的な共役事前分布が不適切となる多次元的・非ガウス的・正規化定数が計算不能な状況（例：混合指数分布とガウス成分）において、ベイジアン変化点検出の適用範囲を拡張すること。

提案手法

• 拡散スコアマッチング（ハイヴァリネンのスコアマッチングの重み付き変種）を用いて導出された、新たな一般化事後分布 ${\mathcal{D}}_{m}$-事後分布を提案する。
• 外れ値やモデル不適合に対して事後分布が頑健になるよう、拡散行列 $m$ を用いて頑健性を調整する。
• 正規分布または切断正規分布の事前分布を伴う指数分布族の尤度に対して、${\mathcal{D}}_{m}$-事後分布が共役であり、基本的な代数的演算によって更新可能であることを確立する。
• ${\mathcal{D}}_{m}$-事後分布をベイジアンオンライン変化点検出（BOCD）フレームワークに統合し、効率的なオンライン推論を可能にする。
• アダムズ＆マクケイ（2007）のプルーニング戦略を採用して計算効率を維持し、$\mathcal{O}(T(d^2 + p^2))$ の複雑度を達成する。
• 金融時系列や地質学的データなど、外れ値を含む・含まない実世界のデータに本手法を適用し、頑健性と速度の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 拡散スコアマッチングに基づく一般化ベイジアンアプローチは、オンライン変化点検出において保証された頑健性を提供できるか？
• RQ2 このような手法は、指数分布族モデルに対して閉形式の事後分布更新を達成でき、効率的なオンライン計算を可能にするか？
• RQ3 既存の頑健手法（例：$\beta$-BOCD）と比較して、スケーラビリティが十分に高いか？
• RQ4 外れ値が存在する状況で、標準BOCDが失敗する中、本手法は真の変化点を正確に検出できるか？
• RQ5 標準ベイジアン事後分布が計算不能となる状況（例：混合指数分布とガウス成分）において、${\mathcal{D}}_{m}$-BOCD は計算的に実行可能かつ正確なままであるか？

主な発見

• 2013年のTwitterフラッシュクラッシュデータにおいて、標準BOCDは誤って3つの変化点を検出したが、${\mathcal{D}}_{m}$-BOCD は正しく変化点を検出しなかった。これにより、頑健性が確認された。
• 数値実験において、$\mathcal{D}$-m-BOCD は $\beta$-BOCD よりも10倍以上高速であり、検出精度は同等または上回っている。
• 混合指数分布とガウス成分を含む多次元的データに対して、${\mathcal{D}}_{m}$-BOCD は計算的に実行可能であるが、標準BOCDは高コストなサンプリングや変分近似を必要とする。
• ガンマ尤度でモデル化された英国10年国債利回りにおいて、${\mathcal{D}}_{m}$-BOCD は取り扱い可能な切断正規事後分布を生成するが、標準的な共役事前分布では正規化定数が計算不能になる。
• アルゴリズムは標準BOCDと同等の計算複雑度（$\mathcal{O}(T(d^2 + p^2))$）を維持しており、高頻度データにスケーラブルに適している。
• 本手法は、主要な政治的出来事と一致する意味のある変化点を国債利回りデータから正しく検出でき、実用的価値を確認した。