[論文レビュー] Change Detection in Multivariate Datastreams: Likelihood and Detectability Loss

Cesare Alippi, Giacomo Boracchi+2 more|arXiv (Cornell University)|Oct 16, 2015

Data Stream Mining Techniques参考文献 23被引用数 4

ひとこと要約

本稿は、時系列の多変量データストリームにおける変化検出の内在的課題を、時間経過に伴うデータの対数尤度の分析によって調査する。変化の検出可能性が低下する現象である「検出可能性損失（detectability loss）」を同定する。これは、変化の大きさ（対称Kullback-Leibler発散で測定）が一定であっても、次元の増加に伴い対数尤度の分散が線形に増大するため、変化検出可能性が劣化することに起因する。

ABSTRACT

We address the problem of detecting changes in multivariate datastreams, and we investigate the intrinsic difficulty that change-detection methods have to face when the data dimension scales. In particular, we consider a general approach where changes are detected by comparing the distribution of the log-likelihood of the datastream over different time windows. Despite the fact that this approach constitutes the frame of several change-detection methods, its effectiveness when data dimension scales has never been investigated, which is indeed the goal of our paper. We show that the magnitude of the change can be naturally measured by the symmetric Kullback-Leibler divergence between the pre- and post-change distributions, and that the detectability of a change of a given magnitude worsens when the data dimension increases. This problem, which we refer to as \emph{detectability loss}, is due to the linear relationship between the variance of the log-likelihood and the data dimension. We analytically derive the detectability loss on Gaussian-distributed datastreams, and empirically demonstrate that this problem holds also on real-world datasets and that can be harmful even at low data-dimensions (say, 10).

研究の動機と目的

• 多変量データストリームにおける変化の検出可能性が、次元の高さにどのように影響を受けるかを調査すること。
• 増加するデータ次元における対数尤度に基づく変化検出手法の性能を分析すること。
• 密度推定誤差とは独立して生じる根本的制限――検出可能性損失――を分離し、定量すること。
• ガウス混合モデルで近似可能な実世界のデータセットを用いて、検出可能性損失を経験的に検証すること。
• 検出可能性損失が高次元のビッグデータに限らず、低次元設定（例：d=10）に対しても影響を及ぼすことを示すこと。

提案手法

• 多変量データストリームにおける変化を、事前変化分布φ₀から事後変化分布φ₁へのシフトとしてモデル化する。ここでφ₁は直交変換Qと位置シフトvによって定義される。
• 時系列における対数尤度ℒ(x(t)) = log(φ₀(x(t)))をモニタリングすることで、多変量の変化検出問題を1変量問題に還元する。
• 変化の大きさの測定として、φ₀とφ₁間の対称Kullback-Leibler（sKL）発散を用いる。
• 変化の検出可能性を対数尤度系列における信号対雑音比（SNR）として定量化する。
• ガウス分布に従うデータに対して、検出可能性の上界を解析的に導出し、それが1/dの割合で減少することを示す。
• 回転行列と平行移動ベクトルを用いて、さまざまな次元で一定のsKL大きさの変化を経験的に生成する。非ガウス分布の場合はモンテカルロ推定を用いる。

実験結果

リサーチクエスチョン

• RQ1 対数尤度モニタリングを用いる場合、データ次元dを増加させると、多変量データストリームにおける変化の検出可能性にどのような影響を与えるか？
• RQ2 対称Kullback-Leibler発散（sKL）と対数尤度系列における変化の検出可能性の関係は何か？
• RQ3 検出可能性損失は、密度推定誤差とは独立した、対数尤度に基づく変化検出の内在的制限であるか？
• RQ4 検出可能性損失は非ガウス分布、特に独立成分を有する分布に対しても持続するか？
• RQ5 検出可能性損失は、実世界の多変量データストリームにおいて、低次元（例：d=10）であっても経験的に観察可能か？

主な発見

• 変化の大きさ（sKLで測定）が一定であっても、多変量データストリームにおける変化の検出可能性は、データ次元dが増加するにつれて劣化する。
• ガウス分布に従うデータでは、検出可能性が1/dの割合で減少する関数によって上界で抑えられ、根本的なスケーリング制限が示される。
• 検出可能性損失は、変化に影響を受ける成分の数とは独立して発生し、密度推定誤差とは関係がない。
• ガウス混合モデルで近似可能な実世界のデータセットにおいて、検出可能性損失が経験的に確認され、d=10であっても同様に観察される。
• 正確な密度推定によっても検出可能性損失は軽減されない。これは対数尤度モニタリング手法そのものに内在する性質である。
• 本研究は、次元にわたって一定のsKL大きさの変化を生成する手法を提供し、dにわたる変化検出性能の公平な評価を可能にする。