[論文レビュー] Bayesian Models of Data Streams with Hierarchical Power Priors

Andrés R. Masegosa, Thomas D. Nielsen+4 more|arXiv (Cornell University)|Jul 7, 2017

Data Stream Mining Techniques参考文献 16被引用数 11

ひとこと要約

本稿では、階層的パワー事前分布を用いて概念ずれをモデル化するベイジアンフレームワークを提案し、完全ベイジアンアプローチにより学習率を動的に適応可能にする。変分推論の新手法を導入することで、非共役事前分布を扱いながらも計算効率を維持し、急激かつ徐々に変化する概念ずれを示す実世界のデータストリームにおいて、既存手法を上回る性能を発揮する。

ABSTRACT

Making inferences from data streams is a pervasive problem in many modern data analysis applications. But it requires to address the problem of continuous model updating and adapt to changes or drifts in the underlying data generating distribution. In this paper, we approach these problems from a Bayesian perspective covering general conjugate exponential models. Our proposal makes use of non-conjugate hierarchical priors to explicitly model temporal changes of the model parameters. We also derive a novel variational inference scheme which overcomes the use of non-conjugate priors while maintaining the computational efficiency of variational methods over conjugate models. The approach is validated on three real data sets over three latent variable models.

研究の動機と目的

• 時間の経過とともに変化する潜在分布を伴うデータストリームにおける継続的モデル更新の課題に対処すること。
• 従来の手法がゆっくりとした変化にのみ焦点を当てているのに対し、急激かつ徐々に変化する概念ずれを両方捉える手法の開発。
• ストリーミング環境下での非共役事前分布に対するベイジアン推論における計算不能性の克服。
• 忘却係数などのハイパーパrameterの手動チューニングを回避する完全ベイジアン定式化の提供。
• 変分近似を用いて大規模ストリーミングデータに対するスケーラブルで効率的な推論を実現すること。

提案手法

• 学習率（ρ）に事前分布を置く階層的パワー事前分布（HPPs）を導入し、データストリームの変化に応じて動的に学習率を適応可能にする。
• 時変パラメータβtを含む共役指数型分布族モデルを拡張し、時間的ダイナミクスを用いて概念ずれを明示的にモデル化する。
• 非共役事前分布下での効率的推論を可能にするために、周辺尤度に対する新しい変分下界を提案する。
• 平均場因子分解を用いて下界を最適化する座標降下型変分推論アルゴリズムを採用する。
• 各パラメータのρ(i)tの事後期待値を用いてずれの度合いを定量化し、急激かつ徐々に変化する変化の両方を検出可能にする。
• 本手法をスケーラブルな確率的機械学習のためのオープンソースAMIDSTツールボックスの一部として公開する。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてベイジアンモデルを設計し、データストリームにおける急激かつ徐々に変化する概念ずれを検出し適応可能にすることができるか？
• RQ2 階層的事前分布による学習率の完全ベイジアン定式化は、ヒューリスティック的または固定された忘却係数を用いる手法を上回ることができるか？
• RQ3 ストリーミング環境下で非共役事前分布に対して、変分推論をどれほど効率的かつ正確に実現できるか？
• RQ4 推定されたずれ確率（E[ρ(i)t]）は、多様なデータセットにおける実世界のデータダイナミクスをどれほど的確に反映しているか？
• RQ5 提案手法は、既存手法と比較してハイパーパrameterの手動チューニングへの依存度を低下させることができるか？

主な発見

• GPSデータセットでは、SVB-MHPPが最高のテスト周辺対数尤度（TMLL）を達成し、TMLLは -1.74 であった。これは、SVB-HPPおよびρ = 0.99のSVB-PPを上回った。
• 電力消費データセットでは、SVB-MHPPがTMLL = -19.40を達成し、ρ = 0.9のSVB-PP（TMLL: -19.84）およびν = 0.1のPVBを著しく上回った。
• 金融データセットでは、SVB-MHPPがTMLL = -19.40を達成し、ρ = 0.9のSVB-PP（-19.05）に次ぐ2位となった。
• 本手法は複雑なずれパターンを効果的に捉えていた：GPSデータでは、E[ρ(i)t]が時間経過とともにρ > 0.9（安定）およびρ ≤ 0.05（著しく変化）のパラメータを示した。
• SVB-PPやPVBなどのベースライン手法の性能はハイパーパrameter（例：ρまたはν）に極めて敏感であり、最適でないチューニングでは著しく性能が低下した。
• 階層的事前分布による学習率の完全ベイジアン定式化により、手動によるハイパーパrameterチューニングの必要性が排除され、多様なデータ特性にわたるロバスト性が得られた。