[論文レビュー] Stein Variational Online Changepoint Detection with Applications to Hawkes Processes and Neural Networks

Gianluca Detommaso, Hanne Hoitzing+2 more|arXiv (Cornell University)|Jan 23, 2019

Point processes and geometric inequalities参考文献 34被引用数 5

ひとこと要約

本稿では、ベイジアンオンラインチェンジポイント検出（BOCPD）を指数型分布族を超える分布へ拡張するスケーラブルなベイジアンオンライン手法、Stein Variational Online Changepoint Detection（SVOCD）を提案する。SVOCDは、ベイジアンオンラインチェンジポイント検出と、効率的な事後分布推論を可能にするStein Variational Newton（SVN）法を組み合わせることで、ハーケス過程やベイジアンLSTMなどの複雑なモデルにおいても、正確でリアルタイムなチェンジポイント検出を実現する。SMCベースの手法と比較して、事後分布推定の精度が向上し、誤検出率と見逃し率の両方を低減する。

ABSTRACT

Bayesian online changepoint detection (BOCPD) (Adams & MacKay, 2007) offers a rigorous and viable way to identify changepoints in complex systems. In this work, we introduce a Stein variational online changepoint detection (SVOCD) method to provide a computationally tractable generalization of BOCPD beyond the exponential family of probability distributions. We integrate the recently developed Stein variational Newton (SVN) method (Detommaso et al., 2018) and BOCPD to offer a full online Bayesian treatment for a large number of situations with significant importance in practice. We apply the resulting method to two challenging and novel applications: Hawkes processes and long short-term memory (LSTM) neural networks. In both cases, we successfully demonstrate the efficacy of our method on real data.

研究の動機と目的

• 共役priorが不適切となる非共役的・非指数型分布族に属するモデルにおける、ベイジアンオンラインチェンジポイント検出（BOCPD）の限界を解消すること。
• 計算効率が高く、複雑で高次元のモデルにおけるリアルタイムのチェンジポイント検出を可能にする、オンラインベイジアン推論フレームワークを構築すること。
• ハーケス過程やベイジアンLSTMのように閉形式の事後分布を有しないモデルへBOCPDを拡張すること。これには、高度な変分推論技術を活用する。
• 特に金融時系列の構造的シフトやポイント過程のダイナミクスにおいて、実世界のデータを用いて本手法の有効性を実証すること。
• SMCベースの手法と比較して、SVOCDの事後分布近似の精度とチェンジポイント検出の信頼性を評価すること。

提案手法

• ベイジアンオンラインチェンジポイント検出（BOCPD）とStein Variational Newton（SVN）法を統合し、オンラインで粒子ベースの事後分布近似を可能にする。
• 事後分布を表す粒子の集合を用い、データの到着に応じて決定的トランスポートにより繰り返し更新することで、真の事後分布を近似する。
• 直前の時刻の事後分布を次回の更新の初期粒子分布として利用することで、再計算を最小限に抑え、高速なオンライン推論を実現する。
• ニューラルネットワークやポイント過程で一般的に見られる高次元パrameter空間に対応するため、SVNはSVG対比で優れた収束性とスケーラビリティを示す。
• 粒子は新しいデータポイントごとにわずかなイテレーションで調整される順次更新メカニズムを採用しており、検出遅延を低く抑える。
• LSTMの学習にSVNを適用することで、不確実性推定を維持しつつ予測性能を向上させることで、BOCPDとベイジアンLSTMを統合する。

実験結果

リサーチクエスチョン

• RQ1 SVOCDは、ハーケス過程など指数型分布族に属さないモデルに対しても、正確でリアルタイムのチェンジポイント検出を可能にするか？
• RQ2 オンライン設定下で、SVOCDは複雑で非ガウス的な事後分布を近似する際、SMCと比較してどの程度優れているか？
• RQ3 SVOCDは、時間変動する強度を持つポイント過程によって生成された時系列における構造的変化を効果的に検出できるか？
• RQ4 SVNによるベイジアン不確実性の統合は、決定論的学習に比べてLSTMの予測性能を向上させるか？
• RQ5 既存のBOCPD拡張手法と比較して、SVOCDは誤検出率と見逃し率をどの程度低減できるか？

主な発見

• SVOCDは、実際のビットコイン価格データにおいて、2017年末のピークとその後の暴落を高い時間分解能で正しく検出できた。
• 合成されたハーケス過程データでは、SVOCDはチェンジポイントに伴う事後分布のシフトを正確に追跡したが、SMCは非ガウス的状態では適切な事後分布表現を維持できなかった。
• SVNベースの推論は、複数の粒子数においても、共分散トレース推定の平均二乗誤差が低く、SMCよりも収束が速く正確であることが実証された。
• SVOCDは、BOCPDにSMCを組み合わせた手法と比較して、平均誤検出率と見逃し率が低く、30回の繰り返しによる統計的有意性が確認された。
• SVNで学習されたベイジアンLSTMは、決定論的LSTMよりもより頑健な予測を実現し、信号トレンドを捉える際に事後分布の平均が最尤推定値（モード）を上回る性能を示した。
• SVOCDにおける粒子ベースの事後分布近似は、粒子数を増やすに従い、真の事後分布に漸近的に収束することが確認され、本手法の理論的基盤が妥当であることが裏付けられた。