[论文解读] Deep density ratio estimation for change point detection

Haidar Khan, Lara Marcuse+1 more|arXiv (Cornell University)|May 23, 2019

EEG and Brain-Computer Interfaces参考文献 23被引用 13

一句话总结

本文提出了一种基于新型目标函数的深度密度比估计方法，用于时间序列中的变化点检测，特别是在脑电图（EEG）数据中的癫痫发作 onset 检测。通过使用改进的 DSKL 目标函数对深度神经网络进行训练，该方法对参考数据和评估数据进行对称处理，显著提升了性能——将平均检测延迟降低至 25 秒，优于基于核函数和基于窗口的方法，尤其在结合卷积网络进行特征学习时表现更优。

ABSTRACT

In this work, we propose new objective functions to train deep neural network based density ratio estimators and apply it to a change point detection problem. Existing methods use linear combinations of kernels to approximate the density ratio function by solving a convex constrained minimization problem. Approximating the density ratio function using a deep neural network requires defining a suitable objective function to optimize. We formulate and compare objective functions that can be minimized using gradient descent and show that the network can effectively learn to approximate the density ratio function. Using our deep density ratio estimation objective function results in better performance on a seizure detection task than other (kernel and neural network based) density ratio estimation methods and other window-based change point detection algorithms. We also show that the method can still support other neural network architectures, such as convolutional networks.

研究动机与目标

• 解决在底层分布未知的高维非线性时间序列中检测变化点的挑战。
• 开发基于深度神经网络的密度比估计器，以有效近似两个未知概率分布的比值。
• 设计适用于小批量梯度下降训练的新颖目标函数，相较于现有方法提升训练稳定性和性能。
• 在真实世界的 EEG 数据中癫痫检测任务上评估该方法，与基于核函数和基于窗口的变化点检测技术进行性能对比。
• 探索将卷积神经网络（CNNs）集成以实现端到端的特征提取与密度比估计。

提出的方法

• 提出一种新目标函数 DSKL（密度比评分 KL），通过对参考样本和评估样本进行对称处理，提升训练稳定性和性能。
• 通过将 KLIEP 框架适配至深度学习，构建适用于随机梯度下降的可微分损失函数。
• 利用 Sigmoid 变换（如逻辑函数）将估计的密度比转换为变化点预测结果，通过参数 $k$ 和 $x_0$ 控制。
• 采用交叉验证调优超参数，并将训练好的模型应用于测试集以预测变化点。
• 集成卷积神经网络（CNNs）以直接从原始的小波变换 EEG 信号中学习分层特征。
• 采用基于 DSKL 目标函数的小批量训练，实现深度密度比估计器的可扩展且稳定的优化。

实验结果

研究问题

• RQ1 深度神经网络能否在高维时间序列中有效学习两个未知分布之间的密度比？
• RQ2 与 LSIF 和 BARR 等现有方法相比，如 DSKL 这类新颖目标函数在训练稳定性和检测准确率方面表现如何？
• RQ3 在 EEG 数据中，结合卷积网络进行特征学习是否能提升变化点检测性能？
• RQ4 深度密度比估计能否优于传统的基于核函数和基于窗口的变化点检测算法？
• RQ5 小批量大小对深度密度比估计器的性能和稳定性有何影响？

主要发现

• DSKL 目标函数显著提升了训练稳定性和性能，将平均检测延迟降低至 25 秒，而基于核函数和基于窗口的方法延迟为 31–42 秒。
• 深度卷积密度比估计器（DCDRE）表现最佳，平均检测延迟仅为 16 秒，尽管在自助抽样运行中表现出更高方差。
• DDRE-DSKL 在性能上优于基于核函数的方法（rULSIF、KLIEP）及其他深度学习变体（DDRE-LSIF、DDRE-BARR），后者的检测延迟高达 51–52 秒。
• LSIF 和 BARR 目标函数在小批量大小（如 10）时表现出不稳定性，而 DSKL 由于对参考和评估数据的对称处理，始终保持稳定。
• 利用 CNN 实现端到端特征学习显著提升了性能，证明了分层表征学习在密度比估计中的价值。
• 尽管方差较高，基于深度学习的方法在检测准确率方面展现出明显优势，尤其在复杂且高维的 EEG 数据中。