[論文レビュー] Concept Drift Detection for Streaming Data

Heng Wang, Zubin Abraham|arXiv (Cornell University)|Apr 4, 2015

Data Stream Mining Techniques参考文献 14被引用数 14

ひとこと要約

この論文は、ユーザーが指定した解釈可能なしきい値を用いて、真陽性率、偽陽性率、真陰性率、偽陰性率の4つの分類レートを監視することで、$P(\mathbf{X}_t, y_t)$ の同時分布における変化を検出する、ストリーミングおよびバッチデータ向けの概念ずれ検出フレームワーク「Linear Four Rates（LFR）」を紹介する。LFRは、特に分類が不均衡なデータセットにおいて、従来の手法が失敗する状況でも、検出速度、再現率、誤報の低減において顕著に優れている。

ABSTRACT

Common statistical prediction models often require and assume stationarity in the data. However, in many practical applications, changes in the relationship of the response and predictor variables are regularly observed over time, resulting in the deterioration of the predictive performance of these models. This paper presents Linear Four Rates (LFR), a framework for detecting these concept drifts and subsequently identifying the data points that belong to the new concept (for relearning the model). Unlike conventional concept drift detection approaches, LFR can be applied to both batch and stream data; is not limited by the distribution properties of the response variable (e.g., datasets with imbalanced labels); is independent of the underlying statistical-model; and uses user-specified parameters that are intuitively comprehensible. The performance of LFR is compared to benchmark approaches using both simulated and commonly used public datasets that span the gamut of concept drift types. The results show LFR significantly outperforms benchmark approaches in terms of recall, accuracy and delay in detection of concept drifts across datasets.

研究の動機と目的

• 分類が不均衡なデータにおいてずれを検出できない、またはデータ分布やバッチ処理に関する制限付きの仮定に依存する既存の概念ずれ検出手法の限界を解消すること。
• 下位の分類器に依存せず、ストリーミングおよびバッチデータの両方で効果的に動作するずれ検出フレームワークを構築すること。
• 直感的でユーザーが指定可能なパラメータを提供し、解釈とチューニングが容易になるようにし、実用的使いやすさを向上させること。
• 多様なずれの種類（微細なずれや不均衡なクラスのずれを含む）に対して、早期かつ正確に概念ずれを検出すること。

提案手法

• LFRは、同時分布$P(\mathbf{X}_t, y_t)$ のずれを検出するために、真陽性率（TPR）、偽陽性率（FPR）、真陰性率（TNR）、偽陰性率（FNR）の4つの主要レートを監視する。
• ユーザーが定義したしきい値$\epsilon_\star$（検出）、$\delta_\star$（警告）、$\eta_\star$（減衰）に基づく統計的制御限界を用い、レートが期待される安定性から逸脱した際にアラートを発動する。
• データのバッチ処理を必要とせず、リアルタイムで動作するため、ストリーミング環境での即時の意思決定を可能にする。
• 古いデータポイントの影響を徐々に減衰させる減衰機構を適用することで、最近の概念ずれに敏感な状態を維持する。
• DDM や DDM-OCI とは異なり、全体の誤差率やマイノリティクラスの再現率にのみ依存しないため、誤差率が安定しているが個々のレートが変化するずれに対しても強固である。
• 分類器に依存しないため、任意の下位の予測モデルと統合可能である。

実験結果

リサーチクエスチョン

• RQ1 全体の誤差率が安定している場合でも、特に分類が不均衡なデータセットにおいて、分類性能のずれを検出できる概念ずれ検出手法は存在するか？
• RQ2 LFRは、DDM、DDM-OCI、EDDM、PerfSim と比較して、多様なずれの種類において検出遅延、誤報率、再現率の観点でどのように差をつけるか？
• RQ3 全体の正答率は維持しているが、TPR や FPR などの個々のレートが変化するずれ（特に徐々に起こるか微細なずれ）をLFRはどの程度検出できるか？
• RQ4 LFRは、データのバッチ処理や再トレーニングを必要とせず、ストリーミングおよびバッチデータの両方の環境で高い性能を維持できるか？
• RQ5 LFRが提供するユーザー指定の直感的で解釈可能なパラメータは、従来の手法の統計的しきい値と比較して、より良い制御性と解釈可能性をもたらすか？

主な発見

• LFRは全データセットで最高の再現率を達成し、シミュレーションおよび公開データセットの実験において100％の確率で真のずれの発生時刻を正しく特定した。
• SEAおよびHYPRPLNデータセットでは、LFRはDDM、DDM-OCI、NFRよりも早期に概念ずれを検出し、偽検出期間中には誤報が一切発生しなかった。
• USENET1データセットでは、LFRはすべてのずれの発生時刻を遅延なく検出できたが、他の手法は顕著な検出遅延や検出漏れを示した。
• LFRは全データセットで誤検出数が最も少なく、合計13件の誤報にとどまった。一方、DDM-OCIは18件、他のベンチマークは30件以上であった。
• Imbalance3データセットでは、全体の誤差率とF1スコアは維持されていたが、TPRが0.75から0.25に急低下するようなずれをLFRは正常に検出できた。これはDDMやDDM-OCIが失敗した事例である。
• USENET2での遅延検出が観察されたが、LFRの性能はズレの大きさが減少しても安定しており、微細なずれに対しても感度が高いことが示された。