[논문 리뷰] Efficient Discovery of Variable-length Time Series Motifs with Large Length Range in Million Scale Time Series

Yifeng Gao, Jessica Lin|arXiv (Cornell University)|2018. 02. 13.

Time Series Analysis and Forecasting참고 문헌 24인용 수 10

한 줄 요약

이 논문은 백만 개 이상의 시계열 데이터에서 넓은 길이 범위(300–3000)로 변형 길이의 시계열 무늬를 효율적으로 탐지하기 위한 계층적 근사 알고리즘인 HIME를 제안한다. 변수 길이의 부분시계열을 인덱싱하기 위해 기호 테이블을 활용하고, 유사도 점수에 기반해 길이를 탐욕적으로 확장하는 계층적 순회 전략을 적용함으로써 HIME는 분당 이내의 실행 시간을 달성한다. 이는 유사한 작업에 몇 시간에서 며칠이 소요되는 최신 기술 대비 뚜렷한 성능 향상을 보인다.

ABSTRACT

Detecting repeated variable-length patterns, also called variable-length motifs, has received a great amount of attention in recent years. Current state-of-the-art algorithm utilizes fixed-length motif discovery algorithm as a subroutine to enumerate variable-length motifs. As a result, it may take hours or days to execute when enumeration range is large. In this work, we introduce an approximate algorithm called HierarchIcal based Motif Enumeration (HIME) to detect variable-length motifs with a large enumeration range in million-scale time series. We show in the experiments that the scalability of the proposed algorithm is significantly better than that of the state-of-the-art algorithm. Moreover, the motif length range detected by HIME is considerably larger than previous sequence-matching based approximate variable-length motif discovery approach. We demonstrate that HIME can efficiently detect meaningful variable-length motifs in long, real world time series.

연구 동기 및 목표

• 특히 무늬 길이의 범위가 넓을 경우 발생하는 대규모 시계열에서의 변형 길이 무늬 탐지의 확장성 문제를 해결한다.
• 고정 길이의 무늬 탐지 기법이 한 번의 실행으로 다양한 길이의 무늬를 탐지할 수 없는 한계를 극복한다.
• 높은 노이즈와 길이 제약으로 인해 기존의 시퀀스 매칭 기반 접근법에서 놓치는 장기적이고 희귀하며 의미 있는 무늬를 효율적으로 탐지할 수 있도록 한다.
• 전력 사용, 유전체 분석, 생음향학 등 백만 개 이상의 시계열 데이터를 포함하는 실세계 응용 분야에 실용적인 해결책을 제공한다.
• 고정 길이 패턴을 넘어서 다양한 도메인에서 복잡하고 반복적인 구조를 드러내기 위해 무늬 탐지의 적용 가능성을 넓힌다.

제안 방법

• 변형 길이의 시계열 부분시계열의 이산화된 표현을 저장하기 위해 기호 테이블을 사용하여 효율적인 인덱싱과 비교를 가능하게 한다.
• 최소 무늬 길이에서 시작하여 유사도 점수에 기반해 길이를 탐욕적으로 확장하는 계층적 순회 전략을 적용한다.
• 차원 감소와 노이즈 감소를 위해 조각별 평균 근사(PAA)를 활용하여 확장성과 강인성을 향상시킨다.
• 고밀도의 무늬 후보를 우선순위로 삼는 탐욕적 탐색 메커니즘을 통합하여 거리 계산 횟수를 줄인다.
• 슬라이딩 윈도우 방식을 통해 시계열을 기호 시퀀스로 이산화하고, 기호 테이블 조회를 통해 반복 패턴을 식별한다.
• 검출된 무늬의 모든 인스턴스를 검색하기 위한 쿼리 알고리즘을 적용하여 무늬 발생의 검증과 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 백만 개 이상의 시계열 데이터에서 넓은 길이 범위(예: 300–3000)로 변형 길이의 무늬를 근사 알고리즘으로 효율적으로 탐지할 수 있는가?
• RQ2 제안된 HIME 알고리즘은 최신 기술의 고정 길이 무늬 탐지 및 문법 기반의 변형 길이 무늬 탐지 방법과 비교해 확장성과 실행 시간 면에서 어떻게 성능을 발휘하는가?
• RQ3 HIME는 고정 길이 또는 시퀀스 매칭 기반 방법에서 놓치는 장기적이고 희귀하며 생물학적 또는 행동학적으로 의미 있는 무늬를 탐지할 수 있는가?
• RQ4 HIME의 계층적 기반 기호 기반 접근 방식은 계산 복잡도와 실용성 면에서 브루트 포스나 완전 순회에 비해 어느 정도 뛰어나게 작용하는가?
• RQ5 HIME는 DNA 서열, 새의 소리, 전력 사용 데이터와 같은 실세계 시계열에서 이전에 탐지되지 않은 구조적 패턴을 드러낼 수 있는가?

주요 결과

• HIME는 백만 개의 길이를 가진 시계열 데이터에서 길이 300에서 3000 사이의 무늬를 1분 이내로 탐지하여 놀라운 확장성을 입증한다.
• 고정 길이 무늬 탐지나 시퀀스 매칭 방법으로는 탐지할 수 없는, 냉장고 전력 사용 데이터에서 10시간 길이의 패턴과 인간 Y염색체 DNA에서 22,000 길이의 무늬를 포함한 장기적이고 희귀한 무늬를 탐지한다.
• 740만 개의 전력 사용 시계열에서 HIME는 1개월 7일 간격으로 반복되는 희귀한 무늬를 탐지했으며, 이는 짧은 윈도우에서는 탐지되지 않을 수 있다.
• 세탁기 전력 수요 시계열에서 1534점(2.5시간)과 2791점(4.6시간)의 무늬를 탐지했으며, 이는 350점 주기의 고정 길이 무늬 탐지 방법에서는 놓치는 패턴들이다.
• 새의 소리 트랙에서 HIME는 종별로 특화된 패턴, 예를 들어 1.5초 간격의 침묵 구간과 0.5초 간격의 부르기 간격을 탐지하여 고정 길이 방법으로는 탐지할 수 없는 행동적 통찰을 드러낸다.
• 문법 유도 기반 접근법과 비교했을 때 HIME는 탐지 가능한 무늬 길이의 범위를 한 단계 확장하여, 장기간에 걸쳐 노이즈가 많지만 매우 유사한 부분시계열을 탐지할 수 있도록 했다.