[論文レビュー] Efficient Retrieval of Similar Time Sequences Using DFT

Davood Rafiei, Alberto O. Mendelzon|ArXiv.org|Sep 18, 1998

Time Series Analysis and Forecasting参考文献 13被引用数 113

ひとこと要約

本稿では、離散フーリエ変換（DFT）係数の対称性を活用することで、時系列データベースにおける類似度検索の高速化を提案する。DFTの最後の数個の係数は、最初の数個の係数と複素共役関係にあり、等価なエネルギーを有するため、インデックスに格納せずとも距離計算に利用可能である。この手法により、検索時間を50%以上短縮でき、実データおよび合成データを用いた実験で61–77%の性能向上を確認した。

ABSTRACT

We propose an improvement of the known DFT-based indexing technique for fast retrieval of similar time sequences. We use the last few Fourier coefficients in the distance computation without storing them in the index since every coefficient at the end is the complex conjugate of a coefficient at the beginning and as strong as its counterpart. We show analytically that this observation can accelerate the search time of the index by more than a factor of two. This result was confirmed by our experiments, which were carried out on real stock prices and synthetic data.

研究の動機と目的

• 大規模な時系列データベースにおける類似度検索の性能ボトルネックを解消すること。
• 従来のDFTに基づくインデックス手法が最初の数個のフーリエ係数のみを用いるのを改善すること。
• DFT係数が持つ固有の対称性を活用し、計算の冗長性を排除しながら正確性を損なわないようにすること。
• 距離計算に最初と最後の両方の係数を用いることで、検索を高速化しつつ正しさを維持できることを示すこと。
• 多様なデータワークロードにおいて、性能向上の解析的および実証的妥当性を提供すること。

提案手法

• 実数値時系列に対して、DFT係数のインデックスfにおける係数は、n−fにおける係数と複素共役関係にあり、両者とも大きさが等しいという数学的性質を活用する。
• 対称性と等価なエネルギー寄与のため、インデックスに格納されていない最後の数個のDFT係数を距離計算に利用する。
• パーシバルの定理に従い、周波数領域で最初のk個と最後のk個の係数を用いて、時系列間のユークリッド距離を計算する。
• クエリ処理中に必要な距離計算の数を減らすために、対称性の性質を応用し、計算負荷を実質的に半減させる。
• インデックスストレージを変更せず、Rツリーなどの既存のDFTベースのインデックス構造に統合するが、クエリ処理ロジックのみを変更する。
• 最初の非ゼロDFT係数の最大振幅を正規化要因として用い、シーケンス間でしきい値を標準化する。

実験結果

リサーチクエスチョン

• RQ1 DFT係数の対称性を活用することで、インデックスストレージを増加させずに検索時間を短縮可能か？
• RQ2 最初の係数のみを用いるのと比較して、最初と最後の両方のDFT係数を用いることで、クエリ性能はどの程度向上するか？
• RQ3 異なるクエリしきい値やデータ特性において、性能向上はどのように変化するか？
• RQ4 実際の株価データや合成データを用いた実世界ワークロードにおいて、対称性解析で予測された理論的高速化が成立するか？
• RQ5 シーケンス数、シーケンス長、DFT係数の数が変化する際に、性能向上はどのようにスケーリングするか？

主な発見

• 提案手法は、すべての実験ワークロードで検索時間を61–77%短縮した。特に範囲検索およびすべてのペア検索で最大の向上が観察された。
• 0.5×MaxAmpのしきい値において、クエリ選択性は53–64%低下し、検索時間は70–74%短縮された。これは、50%以上の高速化という解析的予測を裏付けるものであった。
• 長さ128、1067個のシーケンスを含む株価データにおいて、2個のDFT係数を用いた範囲検索では、検索時間を66–72%短縮した。
• シーケンス長を512に増加させた場合、範囲検索時間は73–77%短縮され、距離計算におけるCPU時間の削減により、解析的推定を上回った。
• シーケンス数（100～1067）およびDFT係数数（1～4）が変化しても、性能向上は一貫して60–70%の高速化を示し、安定的であった。
• パーシバルの定理によりDFTにおけるエネルギーとユークリッド距離が保存されるため、正しさが保たれ、誤検出（偽陰性）が生じない。