[論文レビュー] Doubly Robust Bayesian Inference for Non-Stationary Streaming Data with $\beta$-Divergences

Jeremias Knoblauch, Jack Jewson+1 more|arXiv (Cornell University)|Jun 6, 2018

Statistical Methods and Inference被引用数 7

ひとこと要約

本稿は、非定常なストリーミングデータにおける最初のロバストなベイジアンオンラインチェンジポイント検出（BOCPD）アルゴリズムを、β-損失を用いて導入し、線形時間および定数空間計算量を達成した。一般ベイジアン推論（GBI）をβ-損失を用いて適用することで、パrameterとチェンジポイントの両方に対して二重にロバストな推論を可能にし、実世界のデータにおいて誤検出率を90％以上から0％にまで低減した。一方で、構造的変分推論とオンラインβ-パrameter最適化によりスケーラビリティを維持し、適応的ロバスト性を実現した。

ABSTRACT

We present the very first robust Bayesian Online Changepoint Detection algorithm through General Bayesian Inference (GBI) with $\beta$-divergences. The resulting inference procedure is doubly robust for both the parameter and the changepoint (CP) posterior, with linear time and constant space complexity. We provide a construction for exponential models and demonstrate it on the Bayesian Linear Regression model. In so doing, we make two additional contributions: Firstly, we make GBI scalable using Structural Variational approximations that are exact as $\beta o 0$. Secondly, we give a principled way of choosing the divergence parameter $\beta$ by minimizing expected predictive loss on-line. Reducing False Discovery Rates of CPs from more than 90% to 0% on real world data, this offers the state of the art.

研究の動機と目的

• ストリーミングデータにおける外れ値やモデル不適合の下で、標準的なベイジアンオンラインチェンジポイント検出（BOCPD）の高い誤検出率を是正すること。
• データ汚染に対して耐性を持ちながらも、確率的不確実性の定量化を維持するロバストな推論フレームワークの開発。
• 構造的変分推論を用いて、β-損失を用いた一般ベイジアン推論（GBI）をスケーラブルに実装し、β → 0 の極限で正確になるようにすること。
• ロバスト性と効率性のバランスを取るために、βパラメータの原理的でオンラインな初期化および最適化手法を提供すること。

提案手法

• Kullback-Leibler損失の代わりにβ-損失を用いる一般ベイジアン推論（GBI）に基づく、外れ値およびモデル不適合に対してロバストな新たなBOCPDフレームワークを提案。
• パrameter間の依存関係を保持するGBIのための構造的変分推論（SVI）近似を導入し、β → 0 の極限で正確になるように設計することで、スケーラブルな推論を実現。
• 線形時間および定数空間計算量を達成するため、ストリーミングデータのオンライン処理に適した、分散低減型確率的勾配降下法（SGD）をSVIに適用。
• 期待予測損失を最小化することで、オンラインでβパラメータを最適化し、適応的ステップサイズと勾配平均化を用いて更新の安定性を向上。
• ベイジアン線形回帰および多次元ベクトル自己回帰モデルに本手法を適用し、実世界のウェルログデータおよび大気汚染データにおいてロバスト性を実証。
• 期待予測損失を最小化する原理的βパラメータ初期化を採用。ウェルログデータではβpを0.05、βrldを0.0001に初期化。

実験結果

リサーチクエスチョン

• RQ1 β-損失に基づく一般ベイジアン推論は、非定常なストリーミングデータにおけるロバストでスケーラブルかつ二重にロバストなベイジアンチェンジポイント検出を可能にするか？
• RQ2 オンライン環境下でβ-損失を用いる場合、パラメータ間の依存関係を保持しつつ、効率的にスケーラブルに設計できる構造的変分推論（SVI）はどのように設計できるか？
• RQ3 ロバスト性と予測精度のバランスを取るために、βパラメータの原理的でオンラインな初期化および最適化手法は何か？
• RQ4 実世界の外れ値を含むデータにおいて、提案手法は標準BOCPDに比べて誤検出のチェンジポイントをどの程度低減するか？
• RQ5 予測性能とロバスト性の観点から、適応的β-最適化戦略は固定β設定と比較してどのように異なるか？

主な発見

• 提案されたロバストなBOCPDは、実世界のウェルログデータにおいて、チェンジポイントの誤検出率を90％以上から0％にまで著しく低減し、標準BOCPDを大きく上回った。
• 本手法は線形時間および定数空間計算量を達成しており、ストリーミングデータの効率的なオンライン処理を可能にした。
• β-損失を用いた構造的変分推論は、真の後方分布に非常に近いフィットを実現し、特にβ → 0 に近づくと顕著に向上する。また、スケーラビリティを維持した。
• 予測損失最小化によるオンラインβ最適化は、安定した適応的ロバスト性を実現し、βpはほぼ一定を維持し、βrldでさえもノイズの高い勾配にもかかわらずわずかな変動にとどまった。
• βpの初期化手順により、初期段階から高い予測性能が達成され、オンライン最適化がほとんどステップを取らなくても高い安定性を示した。
• 大気汚染データにおいて、より表現力の高い非ロバストモデルでさえ、本手法のロバストモデルに劣る結果を示した。これは、実際の応用においてロバスト性がモデルの表現力よりも優先される可能性を示唆している。