[논문 리뷰] Admissible Time Series Motif Discovery with Missing Data

Yan Zhu, Abdullah Mueen외 1명|arXiv (Cornell University)|2018. 02. 15.

Time Series Analysis and Forecasting참고 문헌 22인용 수 4

한 줄 요약

이 논문은 가장 빠른 알려진 무늬 탐지 알고리즘의 수정 버전을 활용하여 결측치가 있는 데이터셋에서 시간 시리즈 무늬를 탐지할 수 있는 타당한 방법을 제안한다. 이 방법은 거짓 음성 결과가 발생하지 않음을 보장하며, 시간과 공간 복잡도에 소량의 상수 요소만 추가로 발생시켜 다양한 실세계 데이터셋에서 결측치 비율이 다른 경우에도 효율적인 무늬 탐지가 가능하다.

ABSTRACT

The discovery of time series motifs has emerged as one of the most useful primitives in time series data mining. Researchers have shown its utility for exploratory data mining, summarization, visualization, segmentation, classification, clustering, and rule discovery. Although there has been more than a decade of extensive research, there is still no technique to allow the discovery of time series motifs in the presence of missing data, despite the well-documented ubiquity of missing data in scientific, industrial, and medical datasets. In this work, we introduce a technique for motif discovery in the presence of missing data. We formally prove that our method is admissible, producing no false negatives. We also show that our method can piggy-back off the fastest known motif discovery method with a small constant factor time/space overhead. We will demonstrate our approach on diverse datasets with varying amounts of missing data

연구 동기 및 목표

• 과학적, 의료적, 산업적 데이터셋에서 흔히 발생하는 결측치가 존재하는 상황에서 시간 시리즈 무늬 탐지 기법의 부족을 해결하기 위해.
• 불완전한 시간 시리즈에서 무늬를 탐지할 때 거짓 음성 결과가 발생하지 않도록 보장하는 타당한 방법을 개발하기 위해.
• 기존에 알려진 가장 빠른 무늬 탐지 알고리즘에 기반하여 시간과 공간 복잡도에 소량의 상수 요소만 추가로 발생시켜 높은 효율성을 유지하기 위해.
• 다양한 결측치 비율을 가진 다양한 실세계 데이터셋에서 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 결측치를 고려한 거리 계산 개념을 확장하기 위해, 비교 과정에서 결측치 데이터 포인트를 무시하는 수정된 z-정규화 유사도 거리를 사용한다.
• 진정한 무늬가 놓치지 않도록 보장하는 하한 경계 기법을 도입하여 타당성을 확보한다.
• 매트릭스 프로파일 프레임워크와 원활하게 통합되어 최적화된 데이터 구조와 색인을 재사용할 수 있어 빠른 무늬 탐지가 가능하다.
• 하한 경계를 기반으로 한 가지자르기 전략을 적용하여 유망하지 않은 후보 부분수열을 조기에 제거함으로써 계산 비용을 감소시킨다.
• 기존 무늬 탐지 알고리즘과 동일한 점근적 시간 복잡도를 유지하며, 결측치 처리로 인한 소량의 상수 요소만 추가로 발생시킨다.
• 단변량 및 다변량 시간 시리즈 모두를 지원하여 다양한 실세계 응용 분야에 적용 가능하다.

실험 결과

연구 질문

• RQ1 결측치가 존재하는 상황에서도 거짓 음성 결과가 발생하지 않도록 신뢰성 있게 시간 시리즈 무늬 탐지가 가능할 수 있는가?
• RQ2 기존의 빠른 무늬 탐지 알고리즘을 결측치를 처리할 수 있도록 적응시키기 위해 필요한 최소한의 계산 오버헤드는 얼마인가?
• RQ3 제안된 방법은 다양한 수준의 결측치 비율을 가진 데이터셋에서 어떻게 스케일링되는가?
• RQ4 매트릭스 프로파일와 같은 기존 고성능 무늬 탐지 파이프라인과 효율적으로 통합될 수 있는가?
• RQ5 다양한 결측치 패턴을 가진 실세계 데이터셋에서 정확성과 효율성을 유지할 수 있는가?

주요 결과

• 제안된 방법은 증명 가능한 타당성을 보장하여, 결측치가 존재하는 상황에서도 진정한 무늬가 놓치지 않도록 한다.
• 기존에 알려진 가장 빠른 무늬 탐지 알고리즘과 비교해 시간과 공간 복잡도에 소량의 상수 요소만 추가로 발생시킨다.
• 실험적 평가 결과, 다양한 결측치 비율을 가진 데이터셋에서 높은 효율성과 확장성을 유지함을 입증하였다.
• 심전도, 센서, 환경 시간 시리즈 등 실세계 데이터셋에서 결측치가 존재하는 경우에도 의미 있는 무늬를 성공적으로 탐지하였다.
• 매트릭스 프로파일 프레임워크와의 통합을 통해 장시간 시리즈에서도 성능을 유지하면서 확장성이 보장되었다.