[论文解读] Efficient Retrieval of Similar Time Sequences Using DFT

Davood Rafiei, Alberto O. Mendelzon|ArXiv.org|Sep 18, 1998

Time Series Analysis and Forecasting参考文献 13被引用 113

一句话总结

本文提出通过利用离散傅里叶变换（DFT）系数的对称性，加速时间序列数据库中的相似性检索：由于最后几项系数是前几项的复共轭，且携带等效能量，因此可在距离计算中使用，而无需在索引中存储。该方法使搜索时间减少50%以上，实验结果在真实和合成数据上均验证了61–77%的性能提升。

ABSTRACT

We propose an improvement of the known DFT-based indexing technique for fast retrieval of similar time sequences. We use the last few Fourier coefficients in the distance computation without storing them in the index since every coefficient at the end is the complex conjugate of a coefficient at the beginning and as strong as its counterpart. We show analytically that this observation can accelerate the search time of the index by more than a factor of two. This result was confirmed by our experiments, which were carried out on real stock prices and synthetic data.

研究动机与目标

• 解决大规模时间序列数据库中相似性检索的性能瓶颈。
• 改进现有仅使用前几项傅里叶系数的DFT索引方法。
• 利用DFT系数的固有对称性，消除冗余计算，同时不损失准确性。
• 证明在距离计算中同时使用前几项和最后几项系数可加速搜索，且保持正确性。
• 通过理论分析和实证验证，在多样化数据工作负载下确认性能提升。

提出的方法

• 利用数学性质：对于实值时间序列，索引为f的DFT系数是索引为n−f的系数的复共轭，且两者模长相同。
• 尽管未在索引中存储，仍将在距离计算中使用最后几项DFT系数，因其具有对称性且能量贡献相等。
• 利用Parseval定理，在频域中通过同时使用前k项和最后k项系数计算时间序列之间的欧氏距离，以保持距离等价性。
• 应用对称性性质，减少查询处理期间所需的距离计算数量，有效降低50%的计算负载。
• 将该方法无缝集成到现有DFT索引结构（如R树）中，无需修改索引存储，仅调整查询逻辑。
• 使用首个非零DFT系数的最大振幅作为归一化因子，以统一不同序列间的阈值标准。

实验结果

研究问题

• RQ1 能否利用DFT系数的对称性，在不增加索引存储的前提下减少相似性检索的搜索时间？
• RQ2 与仅使用前几项系数相比，同时使用前几项和最后几项DFT系数在多大程度上提升了查询性能？
• RQ3 性能提升如何随不同查询阈值和数据特征而变化？
• RQ4 由对称性分析预测的理论加速效果在真实股票价格和合成数据的真实工作负载下是否成立？
• RQ5 性能提升如何随序列数量、序列长度以及DFT系数数量的变化而扩展？

主要发现

• 所提方法在所有实验工作负载中将搜索时间减少了61–77%，在范围查询和全配对查询中性能提升最为显著。
• 当阈值为0.5×MaxAmp时，查询选择性降低了53–64%，搜索时间减少了70–74%，与分析预测的50%以上加速一致。
• 在1067个长度为128的时间序列股票价格数据上，使用2个DFT系数时，范围查询的搜索时间减少了66–72%。
• 当序列长度增至512时，范围查询时间减少了73–77%，超过理论估计，原因在于距离计算中的CPU时间减少。
• 在序列数量（100至1067）和DFT系数数量（1至4）变化时，性能提升保持稳定，始终实现60–70%的加速。
• 该方法保持正确性，因为根据Parseval定理，DFT下能量和欧氏距离均被保留，确保无误报。