[论文解读] Differentiable Divergences Between Time Series

Mathieu Blondel, Arthur Mensch+1 more|arXiv (Cornell University)|Oct 16, 2020

Time Series Analysis and Forecasting参考文献 25被引用 21

一句话总结

本文提出软DTW散度（soft-DTW divergence），一种可微分的、非负的时间序列散度，当且仅当时间序列相等时被最小化——解决了软DTW的关键局限性，后者可能为负值，且在序列相等时无法实现最小化。该方法采用熵正则化并引入校正项，以确保其作为散度的有效性；实验表明，在84个数据集上，该方法在时间序列分类与平均任务中显著提升了准确率，优于DTW与软DTTW。

ABSTRACT

Computing the discrepancy between time series of variable sizes is notoriously challenging. While dynamic time warping (DTW) is popularly used for this purpose, it is not differentiable everywhere and is known to lead to bad local optima when used as a "loss". Soft-DTW addresses these issues, but it is not a positive definite divergence: due to the bias introduced by entropic regularization, it can be negative and it is not minimized when the time series are equal. We propose in this paper a new divergence, dubbed soft-DTW divergence, which aims to correct these issues. We study its properties; in particular, under conditions on the ground cost, we show that it is a valid divergence: it is non-negative and minimized if and only if the two time series are equal. We also propose a new "sharp" variant by further removing entropic bias. We showcase our divergences on time series averaging and demonstrate significant accuracy improvements compared to both DTW and soft-DTW on 84 time series classification datasets.

研究动机与目标

• 为解决软DTW的局限性，即其可能为负值，且由于熵偏差的存在，当两个时间序列相等时无法实现最小化。
• 提出一种新的散度——软DTW散度，其为非负值，并在时间序列完全相同时被严格最小化。
• 开发一种“锐化”（sharp）变体，以进一步降低熵偏差，提升对齐保真度。
• 在时间序列分类、平均与插值任务中，证明其性能优于DTW与软DTW。

提出的方法

• 提出软DTW散度作为软DTW的修正版本，引入偏差校正项，以确保非负性，并在序列相等时实现精确最小化。
• 采用熵正则化，将DTW中的最小化操作替换为软最小化，从而在保持动态规划效率的同时实现可微分性。
• 将散度定义为所有对齐方式下经过修正的软最小值，其中校正项可消除标准软DTW中固有的熵偏差。
• 通过进一步减小正则化参数，提出一种“锐化”变体，以降低偏差，同时保持可微分性。
• 采用动态规划算法在O(mn)时间内计算散度，时间复杂度与DTW和软DTW保持一致。
• 将该散度应用于端到端学习流程，用于时间序列分类、平均与插值任务。

实验结果

研究问题

• RQ1 能否构建一种可微分的散度，使其非负，并且当且仅当两个时间序列相等时被最小化，从而克服软DTW的局限性？
• RQ2 软DTW中的熵正则化如何引入偏差，导致在序列相等时无法实现最小化？该偏差是否可被校正？
• RQ3 所提出的软DTW散度是否在时间序列分类与平均任务中优于DTW与软DTW？
• RQ4 该散度的“锐化”变体是否能进一步降低熵偏差，同时保持可微分性与计算效率？

主要发现

• 在对基代价函数施加温和条件的前提下，软DTW散度为非负值，且当且仅当两个时间序列相等时被最小化。
• “锐化”变体进一步降低了熵偏差，提升了对齐的保真度。
• 在84个时间序列分类数据集中，所提出的散度在准确率上显著优于DTW与软DTW。
• 使用软DTW散度进行时间序列平均，结果优于DTW与软DTW，表明其在聚类与表征学习方面具有优势。
• 该方法保持了O(mn)的计算复杂度，适用于深度学习流水线中的高效应用。
• 实证结果表明，该方法在包括UWaveGestureLibrary、HandOutlines与SyntheticControl在内的多样化数据集中均表现出一致的性能提升。