[論文レビュー] Deep density ratio estimation for change point detection

Haidar Khan, Lara Marcuse+1 more|arXiv (Cornell University)|May 23, 2019

EEG and Brain-Computer Interfaces参考文献 23被引用数 13

ひとこと要約

本稿では、EEGデータにおけるてんかん発作の発生時刻を検出するための変化点検出に、新しい目的関数を用いた深層密度比推定を提案する。参照データと評価データを対称的に扱うように変更されたDSKL目的関数を用いて深層ニューラルネットワークを訓練することで、平均検出遅延を25秒まで短縮し、従来のカーネルベースおよびウィンドウベースの手法を上回る優れた性能を達成した。特に、特徴抽出に畳み込みニューラルネットワークを組み合わせることで、性能が向上した。

ABSTRACT

In this work, we propose new objective functions to train deep neural network based density ratio estimators and apply it to a change point detection problem. Existing methods use linear combinations of kernels to approximate the density ratio function by solving a convex constrained minimization problem. Approximating the density ratio function using a deep neural network requires defining a suitable objective function to optimize. We formulate and compare objective functions that can be minimized using gradient descent and show that the network can effectively learn to approximate the density ratio function. Using our deep density ratio estimation objective function results in better performance on a seizure detection task than other (kernel and neural network based) density ratio estimation methods and other window-based change point detection algorithms. We also show that the method can still support other neural network architectures, such as convolutional networks.

研究の動機と目的

• 高次元かつ非線形な時系列において、分布が未知の状態で変化点を検出する課題に対処すること。
• 二つの未知の確率分布の比を効果的に近似できる、深層ニューラルネットワークベースの密度比推定器を開発すること。
• ミニバッチ勾配降下法の訓練に適した、新たな目的関数を設計し、従来の手法よりも安定性と性能を向上させること。
• 実世界のEEGデータにおけるてんかん発作検出を評価し、カーネルベースおよびウィンドウベースの変化点検出手法と性能を比較すること。
• 畳み込みニューラルネットワークを統合し、エンドツーエンドの特徴抽出と密度比推定を実現すること。

提案手法

• 参照サンプルと評価サンプルを対称的に扱うことで、学習の安定性と性能を向上させる新しい目的関数、DSKL（密度比スコアKL）を提案する。
• 確率的勾配降下法に適した微分可能な損失関数として定式化することで、KLIEPフレームワークを深層学習に適応する。
• 推定された密度比を、パrameter $k$ と $x_0$ を用いたシグモイド変換（例：ロジスティック関数）により、変化点予測に変換する。
• ハイパーパrameterのチューニングに交差検証を適用し、訓練済みモデルをテストセットに適用して変化点の予測を実施する。
• 生のウェーブレット変換済みEEG信号から階層的特徴を直接学習するため、畳み込みニューラルネットワーク（CNN）を統合する。
• DSKL目的関数を用いたミニバッチ学習を採用し、深層密度比推定器のスケーラブルかつ安定した最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 高次元時系列における二つの未知分布間の密度比を、深層ニューラルネットワークが効果的に学習できるか？
• RQ2 LSIF や BARR といった従来手法と比較して、DSKL などの新しい目的関数は、学習の安定性と検出精度において優れているか？
• RQ3 特徴抽出に畳み込みニューラルネットワークを組み込むことで、EEGデータにおける変化点検出性能が向上するか？
• RQ4 従来のカーネルベースおよびウィンドウベースの変化点検出アルゴリズムに比べ、深層密度比推定が優れた性能を示せるか？
• RQ5 ミニバッチサイズが、深層密度比推定器の性能と安定性に与える影響は何か？

主な発見

• DSKL目的関数は、学習の安定性と性能を顕著に向上させ、平均検出遅延を25秒まで短縮した。これは、カーネルベースおよびウィンドウベース手法の31〜42秒と比較して顕著な改善である。
• 深層畳み込み密度比推定器（DCDRE）は、平均検出遅延が16秒という最高の性能を達成したが、ブートストラップランの間で高い分散を示した。
• DDRE-DSKLは、カーネルベース手法（rULSIF、KLIEP）および他の深層学習変種（DDRE-LSIF、DDRE-BARR）を上回り、検出遅延が51〜52秒と高い。
• LSIFおよびBARR目的関数は、小さなミニバッチサイズ（例：10）では不安定であったが、DSKLは参照データと評価データを対称的に扱うことで、安定性を維持した。
• エンドツーエンドの特徴抽出にCNNを用いることで性能が向上し、密度比推定における階層的表現学習の価値を示した。
• 高い分散を示したが、深層学習ベースのアプローチは、特に複雑で高次元なEEGデータにおいて、明確な検出精度の優位性を示した。