[論文レビュー] Kernel Change-point Detection with Auxiliary Deep Generative Models

Wei-Cheng Chang, Chunliang Li+2 more|arXiv (Cornell University)|Jan 18, 2019

Time Series Analysis and Forecasting参考文献 38被引用数 15

ひとこと要約

本稿では、テストパワーの下界を最適化するための補助的深層生成モデルを用いて、逐次的変化点検出のためのカーネル学習フレームワークKL-CPDを提案する。RNNベースの潜在表現とRBFカーネルを組み合わせることで、KL-CPDは、特に高次元設定や限られたサンプル数の下で、最先端の手法を著しく上回るデータ駆動型カーネルを学習する。

ABSTRACT

Detecting the emergence of abrupt property changes in time series is a challenging problem. Kernel two-sample test has been studied for this task which makes fewer assumptions on the distributions than traditional parametric approaches. However, selecting kernels is non-trivial in practice. Although kernel selection for two-sample test has been studied, the insufficient samples in change point detection problem hinder the success of those developed kernel selection algorithms. In this paper, we propose KL-CPD, a novel kernel learning framework for time series CPD that optimizes a lower bound of test power via an auxiliary generative model. With deep kernel parameterization, KL-CPD endows kernel two-sample test with the data-driven kernel to detect different types of change-points in real-world applications. The proposed approach significantly outperformed other state-of-the-art methods in our comparative evaluation of benchmark datasets and simulation studies.

研究の動機と目的

• 標本が不足する場合に伝統的なカーネル選択手法が機能しない、カーネル二乗検定におけるカーネル選択の課題に対処すること。
• 変化点のトレーニングデータが限られている状況でも、データ駆動的に検出力（テストパワー）を最適化するフレームワークを開発すること。
• 現実世界の時間系列において、平均シフト、分散変化、混合分布遷移などの多様なタイプの変化点を頑健に検出できること。
• 非パラメトリックなMMDベースの手法で一般的に見られる、高次元時間系列データにおける性能劣化を軽減すること。
• 順序モデリングとカーネル学習を組み合わせた、柔軟で深層的なカーネルパラメータ化を提供すること。

提案手法

• ヒューリスティックなカーネル選択に依存しないように、カーネル学習を導くためにテストパワーの下界を目的関数として提案する。
• 希少な変化イベントの代わりに使用できる、異常または変化点に類似したサンプルを生成する補助的生成モデル（条件付き生成器）を導入する。
• RNNによる順序特徴抽出とRBFカーネルによる分布比較を組み合わせた、深層的カーネルパラメータ化を採用する。
• 生成器を用いて、単純な摂動よりも複雑な条件付きサンプルを生成し、MMD検定の識別力の向上を図る。
• 過去と現在の時間ウィンドウ間の最大平均差（MMD）を変化点検出の検定統計量として適用する。
• 生成器とMMD目的関数を介してバックプロパゲーションを用いてカーネルを最適化し、有効なカーネルのエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ラベル付き変化点が少ない状況において、データ駆動型カーネル学習フレームワークは変化点検出性能を向上させることができるか？
• RQ2 テストパワーの下界を最適化することと、ヒューリスティックなカーネル選択（例：メディアンヒューリスティック）とを比較した場合、どちらが逐次的変化点検出において優れているか？
• RQ3 深層生成モデルは、データ量が少ない状況でも、変化点に類似したパターンを効果的にシミュレートでき、カーネル学習の向上に寄与するか？
• RQ4 従来のMMDベースの手法が性能を落とす高次元設定において、本手法はどのように性能を発揮するか？
• RQ5 RNNベースの表現学習とRBFカーネルを組み合わせることで、標準的なMMDまたは自己符号化器ベースの手法よりも優れた検出性能が得られるか？

主な発見

• KL-CPDは、すべての3つのシミュレート済みデータセットで最高のAUCを達成した：ジャンピング平均（0.9454）、スケーリング分散（0.8823）、ガウス混合（0.6782）で、すべてのベースラインを著しく上回った。
• Bee-Danceデータセットでは、遅延許容度が低い（wr=5）状況でもKL-CPDは競争力あるAUCを維持したが、MMD-dataspaceとMMD-codespaceは著しい性能劣化を示した。
• 高次元設定（d ≥ 12）では、MMD-dataspaceの性能が次元の呪いの影響で急激に低下したが、KL-CPDとMMD-codespaceは安定した性能を維持した。
• KL-CPDは、生成器によるより効果的な低次元埋め込みを学習することで、次元数の増加に対して頑健であった。これは、固定エンコーダーよりも優れた性能を発揮した。
• 特にパラメトリックな仮定が成り立たない非 stationarity または複雑な変化点シナリオにおいて、逐次的検出において優れた性能を発揮した。
• アブレーションスタディにより、生成器による異常サンプルの条件付き生成が、単純なネガティブサンプリングやデータ空間MMDを上回る検出力を向上させたことが確認された。