[论文解读] metricDTW: local distance metric learning in Dynamic Time Warping

Jiaping Zhao, Zerong Xi+1 more|arXiv (Cornell University)|Jun 11, 2016

Time Series Analysis and Forecasting参考文献 18被引用 3

一句话总结

该论文提出 metricDTW 方法，通过在描述符聚类内部及之间学习多个局部马氏距离度量，改进基于动态时间规整（DTW）的时序序列 k-近邻分类。通过在 DTW 对齐路径上用学习到的马氏距离替代标准欧氏距离，该方法在 70 个 UCR 时序数据集上实现最先进性能，显著优于 1NN-DTW，p 值 < 1.1×10⁻⁴。

ABSTRACT

We propose to learn multiple local Mahalanobis distance metrics to perform k-nearest neighbor (kNN) classification of temporal sequences. Temporal sequences are first aligned by dynamic time warping (DTW); given the alignment path, similarity between two sequences is measured by the DTW distance, which is computed as the accumulated distance between matched temporal point pairs along the alignment path. Traditionally, Euclidean metric is used for distance computation between matched pairs, which ignores the data regularities and might not be optimal for applications at hand. Here we propose to learn multiple Mahalanobis metrics, such that DTW distance becomes the sum of Mahalanobis distances. We adapt the large margin nearest neighbor (LMNN) framework to our case, and formulate multiple metric learning as a linear programming problem. Extensive sequence classification results show that our proposed multiple metrics learning approach is effective, insensitive to the preceding alignment qualities, and reaches the state-of-the-art performances on UCR time series datasets.

研究动机与目标

• 通过学习捕捉标准欧氏距离之外数据规律的度量，改进基于 DTW 的时序序列 kNN 分类。
• 解决在 DTW 中使用单一全局度量的局限性，该度量可能无法反映局部数据结构。
• 在 DTW 框架内构建局部度量学习方法，通过描述符聚类适应子序列模式。
• 在基于 DTW 的 1NN 分类中使用学习到的度量，在 UCR 时序基准数据集上实现最先进性能。
• 证明度量学习对先前 DTW 对齐质量具有鲁棒性，使其适用于实际应用。

提出的方法

• 该方法使用标准 DTW 进行时序序列对齐以获得对齐路径，并将其视为固定输入。
• 序列中的每个点由一个描述符（如原始子序列、HOG-1D、梯度）表示，以捕捉局部结构上下文。
• 通过 k-means 将描述符聚类为 k 组，并为每组内部及每对簇之间学习独立的马氏距离度量。
• 度量学习基于大边缘最近邻（LMNN）框架，表述为线性规划问题，以优化不同类别之间的大边缘。
• 重新定义 DTW 距离为沿对齐路径上学习到的马氏距离之和，替代标准欧氏距离。
• 该方法在对齐之后应用，因此对对齐质量不敏感，且可与任何现有 DTW 对齐方法兼容。

实验结果

研究问题

• RQ1 学习多个局部马氏距离度量是否能提升基于 DTW 的时序分类中 kNN 分类性能？
• RQ2 所提出的度量学习对先前 DTW 对齐质量的敏感性如何？
• RQ3 使用局部描述符和簇特定度量是否能在多样化时序数据集上带来一致的性能提升？
• RQ4 所提出方法是否能超越使用欧氏距离和标准 DTW 对齐的 1NN-DTW 标准分类器？
• RQ5 如聚类数等超参数如何影响最终分类准确率？

主要发现

• 所提出的 metricDTW 方法在 70 个 UCR 时序数据集上实现最先进性能，显著优于标准 1NN-DTW 基线，度量学习与无度量变体的 p 值分别为 1.1×10⁻⁴ 和 1.8×10⁻⁵。
• 该方法在所有三种描述符（原始子序列、HOG-1D、梯度）上均提升分类准确率，且通过符号秩 Wilcoxon 检验确认具有统计显著性（所有 p < 0.05）。
• 即使先前 DTW 对齐质量存在差异（以对齐误差衡量），后续的度量学习仍能持续提升 1NN 性能，表明对对齐误差具有鲁棒性。
• 描述符聚类数（k ∈ {5,10,15,20,25,30}）对性能有显著正向影响，所有 k 值均显著优于欧氏基线（p < 0.05）。
• 无论使用何种描述符进行对齐，该方法均能实现一致且显著的性能提升，证明了局部度量学习方法的泛化能力。
• 发现迭代联合对齐与度量学习会降低性能，表明当前公式下解耦对齐与度量学习更为可取。