[论文解读] Efficient Matrix Profile Computation Using Different Distance Functions

Reza Akbarinia, Bertrand Cloez|arXiv (Cornell University)|Jan 17, 2019

Time Series Analysis and Forecasting参考文献 10被引用 6

一句话总结

本文提出 AAMP 和 ACAMP，分别为基于纯欧几里得距离与 z-归一化欧几里得距离的高效精确矩阵轮廓计算算法，通过增量距离计算实现显著加速。AAMP 在非归一化距离计算中速度比 SCRIMP++ 快数倍，而 ACAMP 在 z-归一化欧几里得距离上性能超越 SCRIMP++ 超过 50%，从而在多种时间序列数据集中实现更快的模式与异常检测。

ABSTRACT

Matrix profile has been recently proposed as a promising technique to the problem of all-pairs-similarity search on time series. Efficient algorithms have been proposed for computing it, e.g., STAMP, STOMP and SCRIMP++. All these algorithms use the z-normalized Euclidean distance to measure the distance between subsequences. However, as we observed, for some datasets other Euclidean measurements are more useful for knowledge discovery from time series. In this paper, we propose efficient algorithms for computing matrix profile for a general class of Euclidean distances. We first propose a simple but efficient algorithm called AAMP for computing matrix profile with the "pure" (non-normalized) Euclidean distance. Then, we extend our algorithm for the p-norm distance. We also propose an algorithm, called ACAMP, that uses the same principle as AAMP, but for the case of z-normalized Euclidean distance. We implemented our algorithms, and evaluated their performance through experimentation. The experiments show excellent performance results. For example, they show that AAMP is very efficient for computing matrix profile for non-normalized Euclidean distances. The results also show that the ACAMP algorithm is significantly faster than SCRIMP++ (the state of the art matrix profile algorithm) for the case of z-normalized Euclidean distance.

研究动机与目标

• 解决现有矩阵轮廓算法仅依赖 z-归一化欧几里得距离的局限性，该方法在标准差为零的子序列上失效。
• 通过支持更广泛的欧几里得距离类型（包括纯非归一化距离与 p-范数距离），实现更高效的矩阵轮廓计算，以提升多样化时间序列中的知识发现能力。
• 设计精确、可随时中断、可增量维护且确定性的算法，其执行时间仅取决于输入大小与子序列长度。
• 在非归一化与 z-归一化欧几里得距离计算方面，执行时间均优于当前最先进算法 SCRIMP++。

提出的方法

• 提出 AAMP，一种增量算法，通过滑动窗口计算子序列间的纯欧几里得距离，并维护运行和以避免重复计算。
• 通过将增量距离公式推广至任意 p ≥ 1，将 AAMP 扩展以支持 p-范数距离，同时保持高效性。
• 基于与 AAMP 相同的增量原理，设计 ACAMP 以处理 z-归一化欧几里得距离，避免 SCRIMP++ 中昂贵的 FFT 计算。
• 在滑动窗口中维护辅助变量（总和、平方和），以实现 z-归一化距离的增量计算，减少冗余计算。
• 通过单次遍历完整计算矩阵轮廓，确保算法的精确性与可随时中断性，并保持确定性时间复杂度。
• 使用真实世界时间序列数据实现并评估算法，对比不同时间序列长度与子序列长度下与 SCRIMP++ 的执行时间。

实验结果

研究问题

• RQ1 能否设计一种高效且精确的算法，用于基于纯（非归一化）欧几里得距离计算矩阵轮廓？
• RQ2 AAMP 中采用的增量计算技术能否推广至支持 p-范数距离？
• RQ3 能否开发一种高效算法用于 z-归一化欧几里得距离计算，避免使用 FFT 并优于 SCRIMP++？
• RQ4 所提出的算法在不同时间序列长度与子序列长度下与 SCRIMP++ 相比表现如何？
• RQ5 在真实数据集中，使用替代距离函数（如纯欧几里得距离）是否能比 z-归一化欧几里得距离带来更好的异常检测或模式发现效果？

主要发现

• AAMP 在使用纯欧几里得距离计算矩阵轮廓时，执行时间显著低于 SCRIMP++，且随着时间序列长度增加，性能优势进一步扩大。
• ACAMP 在 z-归一化欧几里得距离计算中，平均性能优于 SCRIMP++ 超过 50%，展现出更高的效率。
• AAMP 与 ACAMP 的执行时间随时间序列长度线性增长，且随着子序列长度增加，两者效率进一步提升，当 m 接近 n 时趋近于 O(n) 复杂度。
• 所提算法保持精确性与增量可维护性，执行时间具有确定性，仅取决于输入大小与子序列长度。
• 实验表明，纯欧几里得距离可保留关键异常（如图 1 中约位置 500 处），而使用 z-归一化距离时这些异常会丢失，验证了使用替代距离函数的必要性。
• AAMP 与 ACAMP 的性能优势在大规模数据集上最为显著，随着 n 增大，其执行时间与 SCRIMP++ 的差距进一步扩大。