[論文レビュー] Dynamic trees for streaming and massive data contexts

Christoforos Anagnostopoulos, Robert B. Gramacy|arXiv (Cornell University)|Jan 26, 2012

Data Stream Mining Techniques参考文献 13被引用数 4

ひとこと要約

本稿は、データ廃棄と共役の情報的事前分布、およびアクティブな廃棄ヒューリスティクスを統合することで、ストリーミングおよびマス・データ向けの完全ベイズ的でオンラインな動的木フレームワークを提案する。これにより、定常メモリ、時間的適応性のある非パラメトリック回帰および分類が可能となり、概念の変化を伴う合成および実世界のデータセットにおいて、最先端の手法を上回る性能を発揮する。

ABSTRACT

Data collection at a massive scale is becoming ubiquitous in a wide variety of settings, from vast offline databases to streaming real-time information. Learning algorithms deployed in such contexts must rely on single-pass inference, where the data history is never revisited. In streaming contexts, learning must also be temporally adaptive to remain up-to-date against unforeseen changes in the data generating mechanism. Although rapidly growing, the online Bayesian inference literature remains challenged by massive data and transient, evolving data streams. Non-parametric modelling techniques can prove particularly ill-suited, as the complexity of the model is allowed to increase with the sample size. In this work, we take steps to overcome these challenges by porting standard streaming techniques, like data discarding and downweighting, into a fully Bayesian framework via the use of informative priors and active learning heuristics. We showcase our methods by augmenting a modern non-parametric modelling framework, dynamic trees, and illustrate its performance on a number of practical examples. The end product is a powerful streaming regression and classification tool, whose performance compares favourably to the state-of-the-art.

研究の動機と目的

• ストリーミングおよびマス・データの文脈において、非パラメトリックモデルの柔軟性を維持しながら、定常メモリおよび計算コストを確保する課題に対処すること。
• 共役の情報的事前分布を用いることで、オンラインベイズ推論におけるデータ廃棄による情報損失を最小限に抑えること。
• パワー事前分布を非パラメトリック枠組みに組み込むことで、指数的忘却を埋め込むことにより、進化するデータストリームにおける時間的適応性を実現すること。
• 固定メモリ予算下でのモデルの代表性を高めるために、どのデータポイントを退職するかを優先する計算効率の良いアクティブな学習ヒューリスティクスを開発すること。
• これらの強化を施した動的木が、概念の変化を伴う実世界および合成のストリーミングデータセットにおいて、既存のオンラインおよびオフライン手法を上回ることを実証すること。

提案手法

• データ廃棄は、固定メモリバッファを用いて実装され、過去のデータの一部のみが保持され、計算コストが低減される。
• 廃棄されたデータは、逐次更新される共役の情報的事前分布を用いて部分的に保持され、ベイズ的アプローチで歴史的情報が保存される。
• アクティブな廃棄ヒューリスティクスは、予測的意義に基づいてデータポイントの退職優先順位を決定し、情報損失を最小限に抑える。
• 時間的適応性は、事前分布構造に指数的忘却要因を組み込むことで達成され、データ履歴を再訪問せずに、重みを減衰させる効果が得られる。
• 逐次モンテカルロ（SMC）推論が、リアルタイムでの予測分布の維持および木構造の効率的更新を可能にする。
• このフレームワークは、dynaTree Rパッケージに実装されており、ストリーミング用途向けに、既存の非パラメトリックベイズ的木手法が拡張されている。

実験結果

リサーチクエスチョン

• RQ1 予測精度を損なわせることなく、完全ベイズ的非パラメトリックモデルにおいてデータ廃棄を効果的に管理できるか？
• RQ2 固定メモリ制約下で、予測的意義に基づくアクティブな廃棄とランダム廃棄の間で、モデル性能にどのような差が生じるか？
• RQ3 情報的事前分布を用いて、指数的減衰を模倣し、動的木における時間的適応性を実現できるか？
• RQ4 本手法は、概念の変化を伴うストリーミングデータに対して、最先端のオンラインおよびオフライン学習アルゴリズムと比較して、どのように性能を発揮するか？
• RQ5 進化するデータ分布下での非パラメトリックベイズ的木において、忘却要因の影響は何か？

主な発見

• λ = 0.8 の忘却要因は、特に ELEC2 および FRAUD データセットにおいて、λ = 1.0 よりも分類性能を顕著に向上させた。
• MOVINGTARGET の合成データセットでは、λ = 0.8 の動的木が AUC 0.668、H-測度 0.111、CCR 0.609 を達成し、OLDA-ALR や λ = 1 のオンラインモデルを上回った。
• ELEC2 データセットでは、λ = 0.8 の動的木が CCR 0.808 を達成し、フルデータのオフラインモデル（CCR: 0.702）および λ = 1 のオンラインモデル（CCR: 0.724）を上回った。
• FRAUD データセットでは、λ = 0.8 の動的木が CCR 0.982 を達成し、フルデータのオフラインモデル（CCR: 0.941）および λ = 1 のオンラインモデル（CCR: 0.971）を顕著に上回った。
• アクティブな廃棄ヒューリスティクスは、情報損失を低減させ、特に高漂移状況下で性能向上をもたらした。
• 本手法は、概念の変化に適応しながら、定常メモリおよび時間計算量を維持するという点で、頑健性とスケーラビリティを示した。