[논문 리뷰] Efficient Matrix Profile Computation Using Different Distance Functions

Reza Akbarinia, Bertrand Cloez|arXiv (Cornell University)|2019. 01. 17.

Time Series Analysis and Forecasting참고 문헌 10인용 수 6

한 줄 요약

이 논문은 순수 유클리드 거리와 z-정규화된 유클리드 거리를 각각 사용하여 행렬 프로파일을 계산하는 데 있어 효율적인 정확 알고리즘인 AAMP과 ACAMP을 제안한다. 이들은 증분 거리 계산 기법을 활용하여 상당한 성능 향상을 이룬다. AAMP은 비정규화된 거리에 대해 SCRIMP++보다 몇 배 빠를 수 있으며, ACAMP는 z-정규화된 유클리드 거리 계산에서 SCRIMP++를 50% 이상 뛰어넘어 다양한 시계열 데이터셋에서 더 빠른 무늬 및 이방성 탐지가 가능하다.

ABSTRACT

Matrix profile has been recently proposed as a promising technique to the problem of all-pairs-similarity search on time series. Efficient algorithms have been proposed for computing it, e.g., STAMP, STOMP and SCRIMP++. All these algorithms use the z-normalized Euclidean distance to measure the distance between subsequences. However, as we observed, for some datasets other Euclidean measurements are more useful for knowledge discovery from time series. In this paper, we propose efficient algorithms for computing matrix profile for a general class of Euclidean distances. We first propose a simple but efficient algorithm called AAMP for computing matrix profile with the "pure" (non-normalized) Euclidean distance. Then, we extend our algorithm for the p-norm distance. We also propose an algorithm, called ACAMP, that uses the same principle as AAMP, but for the case of z-normalized Euclidean distance. We implemented our algorithms, and evaluated their performance through experimentation. The experiments show excellent performance results. For example, they show that AAMP is very efficient for computing matrix profile for non-normalized Euclidean distances. The results also show that the ACAMP algorithm is significantly faster than SCRIMP++ (the state of the art matrix profile algorithm) for the case of z-normalized Euclidean distance.

연구 동기 및 목표

• 기존의 행렬 프로파일 알고리즘이 z-정규화된 유클리드 거리에만 의존하는 한계를 해결하여, 표준편차가 0인 부분시계열에서 실패하지 않도록 한다.
• 순수(비정규화된) 및 p-노름 거리와 같은 더 넓은 범주에 속하는 유클리드 거리로 행렬 프로파일을 효율적으로 계산할 수 있도록 하여 다양한 시계열에서 지식 탐색을 향상시킨다.
• 정확하고, 언제나 실행 가능한, 증분적으로 유지 가능한, 결정적인 알고리즘을 개발하며, 실행 시간이 입력 크기와 부분시계열 길이에만 의존하도록 한다.
• 비정규화된 거리와 z-정규화된 거리 계산에서 모두 최신 기술인 SCRIMP++를 능가하는 실행 시간 성능을 확보한다.

제안 방법

• 슬라이딩 윈도우 기반으로 부분시계열 간 순수 유클리드 거리를 계산하는 증분 알고리즘인 AAMP을 제안하며, 재계산을 방지하기 위해 누적 합을 유지한다.
• 증분 거리 공식을 임의의 p ≥ 1로 일반화하여 AAMP를 p-노름 거리 계산에도 확장함으로써 효율성을 유지한다.
• AAMP와 동일한 증분 원리를 활용하지만 z-정규화된 유클리드 거리에 맞게 조정된 ACAMP를 설계하여 SCRIMP++에서 사용하는 비용이 큰 FFT 계산을 피한다.
• 슬라이딩 윈도우 내 보조 변수(합, 제곱합)를 유지하여 z-정규화된 거리를 증분적으로 계산함으로써 중복 계산을 줄인다.
• 단일 패assing으로 전체 행렬 프로파일을 정확하게 계산하고 결정적 시간 복잡도를 확보함으로써 알고리즘의 정확성과 언제나 실행 가능한 성질을 보장한다.
• 실제 시계열 데이터를 사용하여 알고리즘을 구현하고, 다양한 시계열 길이와 부분시계열 길이에서 SCRIMP++와의 실행 시간을 비교 평가한다.

실험 결과

연구 질문

• RQ1 순수(비정규화된) 유클리드 거리를 사용하여 행렬 프로파일을 계산하는 데 있어 효율적이고 정확한 알고리즘을 설계할 수 있는가?
• RQ2 AAMP에서 사용된 증분 계산 기법을 p-노름 거리 계산으로 일반화할 수 있는가?
• RQ3 FFT를 피하고 SCRIMP++를 능가하는 성능을 보이는 z-정규화된 유클리드 거리 계산을 위한 효율적 알고리즘을 개발할 수 있는가?
• RQ4 제안된 알고리즘이 다양한 시계열 길이와 부분시계열 길이에서 SCRIMP++와 비교해 어떻게 성능을 내는가?
• RQ5 실제 데이터셋에서 순수 유클리드 거리(예: 순수 유클리드)를 사용할 경우 z-정규화된 유클리드 거리보다 이상치 탐지나 무늬 탐지 성능이 향상되는가?

주요 결과

• AAMP는 순수 유클리드 거리 기반 행렬 프로파일 계산에서 SCRIMP++보다 상당히 낮은 실행 시간을 기록하며, 시계열 길이가 길어질수록 성능 향상이 더욱 두드러진다.
• ACAMP는 z-정규화된 유클리드 거리 계산에서 평균적으로 SCRIMP++보다 50% 이상 빠르게 작동하여 뛰어난 효율성을 입증한다.
• AAMP와 ACAMP의 실행 시간은 시계열 길이에 따라 선형적으로 증가하며, 부분시계열 길이가 길어질수록 더 효율적이 되며, m이 n에 가까워질수록 O(n) 복잡도에 수렴한다.
• 제안된 알고리즘은 정확성과 증분 유지 가능성을 유지하며, 입력 크기와 부분시계열 길이에만 의존하는 결정적 실행 시간을 보인다.
• 실험 결과, 순수 유클리드 거리에서는 그림 1의 위치 약 500 부근에서 중요한 이상치를 유지할 수 있었지만, z-정규화된 거리에서는 이러한 이상치가 손실되는 것으로 나타나, 보다 다양한 거리 함수의 필요성을 입증한다.
• AAMP와 ACAMP의 성능 우월성은 대규모 데이터셋에서 가장 두드러지며, n이 증가할수록 이들의 실행 시간과 SCRIMP++의 실행 시간 간 격차가 더욱 벌어진다.