[論文レビュー] Generalization of Change-Point Detection in Time Series Data Based on Direct Density Ratio Estimation

M. Hushchyn, A. Ustyuzhanin|arXiv (Cornell University)|Jan 17, 2020

Statistical Methods and Inference参考文献 18被引用数 27

ひとこと要約

この論文では、勾配ブースティングツリーとニューラルネットワークを含む現代の機械学習モデルを用いた直接密度比推定を用いて、時系列における変化点検出の一般化を提案する。従来のカーネルベースの手法（例：RuLSIF）に代えて柔軟な分類器および回帰器を用いることで、特に距離ベースの推定が失敗する高次元またはノイズの多い設定において、合成データおよび実世界のデータセットで優れた性能を達成する。

ABSTRACT

The goal of the change-point detection is to discover changes of time series distribution. One of the state of the art approaches of the change-point detection are based on direct density ratio estimation. In this work we show how existing algorithms can be generalized using various binary classification and regression models. In particular, we show that the Gradient Boosting over Decision Trees and Neural Networks can be used for this purpose. The algorithms are tested on several synthetic and real-world datasets. The results show that the proposed methods outperform classical RuLSIF algorithm. Discussion of cases where the proposed algorithms have advantages over existing methods are also provided.

研究の動機と目的

• 従来のカーネルベースの手法（例：RuLSIF）を超えて、最新の変化点検出を、現代の機械学習モデルを活用することで拡張すること。
• 距離ベースの推定が失敗する高次元またはノイズの多い時系列において、カーネル手法の限界を解消すること。
• 密度比を直接推定するためのバイナリ分類器および回帰モデルを用いることで、検出の精度とロバスト性を向上させること。
• これらの一般化されたモデルの性能を、合成および実世界の時系列データセット上で評価すること。
• GBDTやニューラルネットワークのような柔軟なモデルを、変化点検出のための直接密度比推定に活用するフレームワークを提供すること。

提案手法

• バイナリ分類モデル（例：GBDT、ニューラルネットワーク）を用いた直接密度比推定により、テスト分布とリファレンス分布の密度比を推定する。
• 密度推定を明示的に行わずに、密度比推定のための回帰設定でRuLSIF損失関数を適用する。
• 時間的依存性を捉えるために、時系列シーケンスからリファレンスおよびテストサンプルをスライディングウィンドウ方式で構築する。
• 予測された密度比に基づく不一致スコアを推定し、変化点の位置でピークを示す。
• 主な評価指標としてAUCを用い、真の変化点の周囲の時間ウィンドウにラベルを割り当てる。
• 予測された密度比と真の密度比の加重二乗誤差を最小化するように、変更された損失関数を用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 GBDT やニューラルネットワークなどの現代の機械学習モデルは、古典的なカーネルベースの手法（例：RuLSIF）を上回る性能を示すか？
• RQ2 非カーネルモデルがカーネルベースの密度比推定に比べて顕著な利点を示すシナリオは何か？
• RQ3 GBDT やニューラルネットワークは、カーネルベースの手法の性能を低下させるノイズや高次元の時系列成分をどのように処理するか？
• RQ4 柔軟なモデルを用いた直接密度比推定は、変化点の特定における検出精度の向上と遅延の低減を実現するか？
• RQ5 異なる変化点特性を示す合成および実世界の時系列データにおいて、これらのモデルの性能はどのように変動するか？

主な発見

• GBDTベースおよびニューラルネットワークベースのモデルは、すべての合成データセットで古典的なRuLSIFアルゴリズムを一貫して上回り、データセット1ではAUCが最大9.7ポイント向上した。
• ケプラー系の系外惑星の光曲線データセットでは、GBDTベースのモデルがAUC 0.950を達成したのに対し、RuLSIFは0.844にとどまり、実世界の天体物理的信号における優れた検出性能を示した。
• IRIS地震計データセットでは、GBDTモデルがAUC 0.980を達成し、RuLSIF（0.971）を顕著に上回り、地球物理学的信号検出におけるロバスト性を示した。
• ノイズの多い合成データセットにおいて、RuLSIFに対する一貫した性能向上が示されたことから、提案手法は時系列における情報のないノイズ成分に対して感受性が低いことが裏付けられた。
• カーネルベースの手法が次元の呪いにより失敗する高次元設定において、ニューラルネットワークおよびGBDTモデルはより優れた一般化性能を示した。
• 柔軟なモデルを用いた直接密度比推定により、カーネル手法が見逃す可能性のある複雑で非線形な分布シフトの検出が可能になった。