[論文レビュー] Temporally-Biased Sampling for Online Model Management

Brian Hentschel, Peter J. Haas+1 more|arXiv (Cornell University)|Jan 29, 2018

Data Stream Mining Techniques参考文献 23被引用数 3

ひとこと要約

本稿では、オンラインモデル管理のための時系列バイアス付きサンプリング（T-TBS および R-TBS）を提案する。データ項目は時間の経過に従い指数関数的に減少する包含確率でサンプリングされ、最近のデータを優先しつつも、耐性を高めるために古いデータを保持する。R-TBSアルゴリズムは、変動するデータ到着レート下でも、制御された減少率と上限のあるサンプルサイズを保証する点で特異的であり、スライディングウィンドウよりも柔軟性と安定性に優れる。

ABSTRACT

To maintain the accuracy of supervised learning models in the presence of evolving data streams, we provide temporally-biased sampling schemes that weight recent data most heavily, with inclusion probabilities for a given data item decaying exponentially over time. We then periodically retrain the models on the current sample. This approach speeds up the training process relative to training on all of the data. Moreover, time-biasing lets the models adapt to recent changes in the data while -- unlike in a sliding-window approach -- still keeping some old data to ensure robustness in the face of temporary fluctuations and periodicities in the data values. In addition, the sampling-based approach allows existing analytic algorithms for static data to be applied to dynamic streaming data essentially without change. We provide and analyze both a simple sampling scheme (T-TBS) that probabilistically maintains a target sample size and a novel reservoir-based scheme (R-TBS) that is the first to provide both complete control over the decay rate and a guaranteed upper bound on the sample size, while maximizing both expected sample size and sample-size stability. The latter scheme rests on the notion of a "fractional sample" and, unlike T-TBS, allows for data arrival rates that are unknown and time varying. R-TBS and T-TBS are of independent interest, extending the known set of unequal-probability sampling schemes. We discuss distributed implementation strategies; experiments in Spark illuminate the performance and scalability of the algorithms, and show that our approach can increase machine learning robustness in the face of evolving data.

研究の動機と目的

• 学習アルゴリズムの再設計なしに、進化するデータストリームに対してモデルの精度を維持する課題に対処すること。
• 最近のデータを優先しつつも、ノイズや周期的変動に対して耐性を持つために古いデータを保持するサンプリング方式を設計すること。
• 静的機械学習モデルをストリーミングデータ上で定期的に再トレーニング可能にするサンプリング手法を提供すること。
• 変動するデータ到着レート下でも、サンプルサイズに上限を設けつつ包含確率に指数的減少を保証するリザーバー基盤のアルゴリズム（R-TBS）を開発すること。
• 時間的バイアス付きサンプリングの分散デプロイメントおよびスケーラビリティをサポートすること。

提案手法

• T-TBS は、各データ項目の包含確率が到着時刻に応じて指数関数的に減少する確率的サンプリングを用い、ターゲットのサンプルサイズを維持する。
• R-TBS は「部分的サンプル」の概念を導入し、動的サンプルサイズの調整を可能にすることで、減少率と最大サンプルサイズの両方を制御できる。
• アルゴリズムは、異なる時刻に到着したアイテムの包含確率比が Pr[i ∈ St]/Pr[j ∈ St] = e^−λ(t′′−t′) として指数関数的に減少することを保証し、解釈可能性の重要な基準を満たす。
• R-TBS は、上限のあるサンプルサイズ制約下で、期待されるサンプルサイズが最適で、サンプルサイズの分散が最小となる最初のリザーバー基盤の手法である。
• アプローチはバッチ到着をサポートし、ストリーミングアルゴリズムから適応した技術を用いて分散実装を可能にする。
• 理論的分析により、R-TBS が指数的減少を伴うすべての上限付きサンプリング方式の中で期待されるサンプルサイズを最大にし、分散を最小にすることが証明されている。

実験結果

リサーチクエスチョン

• RQ1 フルデータ再トレーニングと比較して再トレーニングコストを削減しつつ、進化するデータストリームにおいてもモデル精度を維持できるサンプリングベースのアプローチは可能か？
• RQ2 包含確率をどのように制御すれば、最近のデータを優先しつつも、耐性を高めるために古いデータを保持できるか？
• RQ3 変動するデータ到着レート下でも、サンプルサイズに上限を設けつつ包含確率に指数的減少を保証できるリザーバー基盤のサンプリングアルゴリズムは存在するか？
• RQ4 時間的バイアス付きサンプリングは、コンセプトドリフトや周期的パターンに対処する際、スライディングウィンドウ手法と比較してどのように性能を発揮するか？
• RQ5 時間的バイアス付きサンプリングは、分散ストリーミングシステムにおいて、スケーラビリティと分散特性をどのように果たすか？

主な発見

• R-TBS は、指数的減少を伴うすべての上限付きサンプリング方式の中で、期待されるサンプルサイズが最適で、サンプルサイズの分散が最小である。
• R-TBS は、未知で時間的に変動するデータ到着レートに対しても適応でき、単純な手法に見られるサンプルオーバーフローおよびアンダーフローを回避する。
• Spark 上での実験では、時間的バイアス付きサンプリングが異常事象や周期的データパターンの影響に対してもモデルの頑健性を向上させ、スライディングウィンドウ手法を上回ることを示した。
• このアプローチにより、既存の静的機械学習アルゴリズムを最小限の変更で動的ストリーミング環境に適用可能にし、時間の経過とともにモデル精度を維持できる。
• R-TBS は正確なパrameterチューニングを必要とせず、さまざまな減少率（λ）の範囲で良好な性能を発揮する。一方、スライディングウィンドウはすべてのデータを含めるか含めないかの二択に陥る。
• R-TBS アルゴリズムは、データ到着が遅くなるとサンプルを縮小することでアンダーフローを正しく処理し、古いアイテムの過剰代表を防ぐ。