[论文解读] Kernel Change-point Detection with Auxiliary Deep Generative Models

Wei-Cheng Chang, Chunliang Li+2 more|arXiv (Cornell University)|Jan 18, 2019

Time Series Analysis and Forecasting参考文献 38被引用 15

一句话总结

该论文提出KL-CPD，一种用于回顾性变化点检测的核学习框架，通过利用辅助深度生成模型优化检验效能的下界来实现核学习。通过结合RNN的潜在表征与RBF核，KL-CPD学习到数据驱动的核函数，在基准数据集和模拟数据集上显著优于当前最先进方法，尤其在高维设置和样本有限的情况下表现更优。

ABSTRACT

Detecting the emergence of abrupt property changes in time series is a challenging problem. Kernel two-sample test has been studied for this task which makes fewer assumptions on the distributions than traditional parametric approaches. However, selecting kernels is non-trivial in practice. Although kernel selection for two-sample test has been studied, the insufficient samples in change point detection problem hinder the success of those developed kernel selection algorithms. In this paper, we propose KL-CPD, a novel kernel learning framework for time series CPD that optimizes a lower bound of test power via an auxiliary generative model. With deep kernel parameterization, KL-CPD endows kernel two-sample test with the data-driven kernel to detect different types of change-points in real-world applications. The proposed approach significantly outperformed other state-of-the-art methods in our comparative evaluation of benchmark datasets and simulation studies.

研究动机与目标

• 解决在变化点检测的核两样本检验中核选择的挑战，其中样本不足导致传统核选择方法失效。
• 开发一种即使在变化点训练数据有限的情况下，也能以数据驱动方式优化检验效能的框架。
• 实现在真实时间序列中对多种类型变化点（如均值漂移、方差变化和混合分布转换）的鲁棒检测。
• 缓解高维时间序列数据中非参数MMD方法常见的性能退化问题。
• 提供一种灵活的深度核参数化方法，结合序列建模与核学习，以提升检测效能。

提出的方法

• 提出检验效能的下界作为目标函数以指导核学习，避免依赖启发式核选择。
• 引入一个辅助生成模型（条件生成器）以模拟异常或类似变化点的样本，作为罕见变化事件的替代代理。
• 采用深度核参数化方法，将RNN用于序列特征提取，结合RBF核用于分布比较。
• 利用生成器生成比简单扰动更复杂的条件样本，增强MMD检验的判别能力。
• 将过去和当前时间窗口之间的最大均值差异（MMD）作为变化点检测的检验统计量。
• 通过生成器和MMD目标的反向传播优化核函数，实现有效核函数的端到端学习。

实验结果

研究问题

• RQ1 当标注的变化点稀缺时，数据驱动的核学习框架是否能提升变化点检测性能？
• RQ2 在回顾性变化点检测中，优化检验效能的下界与启发式核选择（如中位数启发式）相比表现如何？
• RQ3 深度生成模型是否能有效模拟类似变化点的模式，从而在低数据条件下提升核学习效果？
• RQ4 在数据维度增加时，所提出方法的表现如何，而传统MMD方法在此类场景中性能会下降？
• RQ5 将基于RNN的表征学习与RBF核结合，是否能获得优于标准MMD或基于自编码器方法的检测性能？

主要发现

• KL-CPD在所有三个模拟数据集上均取得最高AUC：跳跃均值任务为0.9454，方差缩放任务为0.8823，高斯混合任务为0.6782，显著优于所有基线方法。
• 在Bee-Dance数据集上，KL-CPD在延迟容忍度较低（wr=5）时仍保持竞争力的AUC，而MMD-dataspace和MMD-codespace表现出严重性能下降。
• 在高维设置中（d ≥ 12），MMD-dataspace因维度灾难导致性能急剧下降，而KL-CPD和MMD-codespace保持稳定。
• KL-CPD通过其生成器学习到更有效的低维嵌入，表现出对数据维度的鲁棒性，优于固定编码器。
• 该方法在回顾性检测中表现优异，尤其在非平稳或复杂变化点场景中，当参数假设不成立时仍具优势。
• 消融实验证实，通过生成器进行异常样本的条件生成，其检测能力超越了简单的负采样或数据空间MMD。