[論文レビュー] Doubly Robust Bayesian Inference for Non-Stationary Streaming Data with $β$-Divergences

Jeremias Knoblauch, Jack Jewson+1 more|arXiv (Cornell University)|Jun 6, 2018

Statistical Methods and Inference被引用数 5

ひとこと要約

本稿では、β-損失を用いた最初のロバストなベイジアンオンラインチェンジポイント検出（BOCPD）アルゴリズムを提案し、線形時間および定数空間計算量の条件下で、非定常なストリーミングデータに対して二重にロバストな推論を可能にする。原理的なβパラメータ最適化とスケーラブルな構造的変分推論を用いることで、実世界のデータにおいて誤検出率を90％以上から0％にまで低減し、最先端の性能を達成した。

ABSTRACT

We present the very first robust Bayesian Online Changepoint Detection algorithm through General Bayesian Inference (GBI) with $β$-divergences. The resulting inference procedure is doubly robust for both the parameter and the changepoint (CP) posterior, with linear time and constant space complexity. We provide a construction for exponential models and demonstrate it on the Bayesian Linear Regression model. In so doing, we make two additional contributions: Firstly, we make GBI scalable using Structural Variational approximations that are exact as $β o 0$. Secondly, we give a principled way of choosing the divergence parameter $β$ by minimizing expected predictive loss on-line. Reducing False Discovery Rates of CPs from more than 90% to 0% on real world data, this offers the state of the art.

研究の動機と目的

• 非定常なストリーミングデータを対象とした、最初のロバストなベイジアンオンラインチェンジポイント検出（BOCPD）アルゴリズムの開発。
• モデルの不適合や外れ値が存在する状況下でも、モデルパラメータおよび変化点の両方に対して二重にロバストな推論を可能にする。
• β → 0 の極限で正確な推論が得られる、構造的変分推論（SVI）を用いた一般ベイズ推論（GBI）のスケーラブルな推論フレームワークの提供。
• ロバスト性と予測精度のバランスを取るために、β-損失パラメータをオンラインで初期化および最適化する原理的でオンラインな手法の確立。

提案手法

• Kullback-Leibler損失の代わりにβ-損失を用いることでロバスト性を達成する、一般ベイズ推論（GBI）に基づく新しいBOCPDフレームワークの提案。
• β → 0 の極限で正確な事後分布近似が得られる構造的変分推論（SVI）を採用し、線形時間および定数空間計算量のスケーラブルな推論を実現。
• オンライン処理中にSVIの目的関数を効率的に最適化するため、分散低減型の確率的勾配降下法（SGD）スキームを導入。
• 期待予測損失を最小化するように設計された、オンラインでのβ最適化戦略を提案。これにより、ロバスト性を動的に調整可能となる。
• 数値的安定性を確保するための前処理を施した上で、ベイジアン線形回帰（BLR）および多次元自己回帰（VAR）モデルに適用。
• 推論プロセスの初期化に、事前分布 h(rt) = 0.001 およびハイパーパrameter µ₀ = 0, Σ₀ = 20I, a₀ = 1, b₀ = 25 を使用。

実験結果

リサーチクエスチョン

• RQ1 β-損失に基づく一般ベイズ推論は、ストリーミングデータにおけるロバストでスケーラブルかつ二重にロバストな変化点検出を可能にするか？
• RQ2 GBIのオンライン設定において、β → 0 の極限で効率的かつ正確な構造的変分推論を実現するにはどうすればよいか？
• RQ3 ロバスト性と予測性能のバランスを取るために、βパラメータを原理的かつオンラインで選択・適応する手法は何か？
• RQ4 提案手法は、外れ値の影響で標準BOCPDが失敗する実世界のデータにおいて、誤検出率を低減できるか？
• RQ5 モデルの不適合下で、ロバストBOCPDと非ロバストBOCPDの間で、予測精度および変化点検出性能にどのような差が生じるか？

主な発見

• ロバストBOCPDは、実世界の大気汚染データにおいて、誤検出率を90％以上から0％にまで低減し、標準BOCPDを著しく上回る性能を示した。
• 外れ値を含む多変量時系列データにおいても、高い予測精度を維持しており、これにより外れ値に強い性能が裏付けられた。
• オンラインβ最適化手順は、ウェルログデータにおいて4,000件の観測期間でβpの変化が0.002未満、βrldの変化が0.015未満に収束し、迅速に安定した。
• 構造的変分推論アプローチは、β → 0 の極限で真の事後分布に非常に近い適合を達成し、極限において正確な推論が可能となった。
• βpの最適化は数値的安定性の制約（ε = 1e-10）により制限されるが、依然としてβpがロバスト性が低い値に近づくように動的に調整されており、優れたオンライン適応性が示された。
• 非ロバストベースライン（ラグ長1,5,6,7）よりも少ないモデル（ラグ長1–3）を用いても、予測性能は向上し、誤検出率も低減された。