[논문 리뷰] KV-match: An Efficient Subsequence Matching Approach for Large Scale Time Series.

Jiaye Wu, Peng Wang외 3명|arXiv (Cornell University)|2017. 10. 02.

Time Series Analysis and Forecasting참고 문헌 20인용 수 1

한 줄 요약

이 논문은 시간 시리즈 데이터베이스(TSDB) 시스템에서 대규모 시간 시리즈 데이터를 위한 효율적인 부분수열 매칭 접근법인 KV-match를 제안한다. 파일 기반의 KV-인덱스 구조와 쿼리 알고리즘을 도입하여 창 최소화 및 재정렬 최적화와 같은 최적화 기법을 통해 빠른 순차 스캔 기반 매칭을 가능하게 하며, 전통적 방법 대비 수배 수준의 성능 향상을 달성하면서도 트리 기반 인덱스와 유사한 크기의 인덱스를 유지한다.

ABSTRACT

Time series data have exploded due to the popularity of new applications, like data center management and IoT. Time series data management system (TSDB), emerges to store and query the large volume of time series data. Subsequence matching is critical in many time series mining algorithms, and extensive approaches have been proposed. However, the shift of distributed storage system and the performance gap make these approaches not compatible with TSDB. To fill this gap, we propose a new index structure, KV-index, and the corresponding matching algorithm, KV-match. KV-index is a file-based structure, which can be easily implemented on local files, HDFS or HBase tables. KV-match algorithm probes the index efficiently with a few sequential scans. Moreover, two optimization techniques, window reduction and window reordering, are proposed to further accelerate the processing. To support the query of arbitrary lengths, we extend KV-match to KV-match$_{DP}$, which utilizes multiple varied length indexes to process the query simultaneously. A two-dimensional dynamic programming algorithm is proposed to find the optimal query segmentation. We implement our approach on both local files and HBase tables, and conduct extensive experiments on synthetic and real-world datasets. Results show that our index is of comparable size to the popular tree-style index while our query processing is order of magnitudes more efficient.

연구 동기 및 목표

• 기존의 부분수열 매칭 알고리즘과 현대의 분산 시간 시리즈 데이터베이스(TSDB) 시스템 사이의 성능 격차를 해소하기 위해.
• HDFS 및 HBase와 같은 분산 스토리지 시스템과 호환되는 인덱스 구조를 설계하여 대규모 시간 시리즈 쿼리의 효율성을 높이기 위해.
• 창 최소화 및 창 재정렬과 같은 새로운 최적화 기법을 통해 부분수열 매칭 속도를 향상시키기 위해.
• 다양한 길이의 쿼리에 대응하기 위해 다중 길이 인덱스와 동적 프로그래밍 기반 분할 기법을 활용해 KV-match$_{DP}$로 확장함으로써 임의의 쿼리 길이를 지원하기 위해.
• 인덱스 크기를 희생하지 않으면서도 높은 쿼리 효율성을 달성하여 실세계의 TSDB 환경에서의 실용적 구현 가능성을 확보하기 위해.

제안 방법

• 로컬 파일, HDFS 또는 HBase 테이블에 직접 배포 가능한 파일 기반 인덱스인 KV-index의 설계.
• 최소한의 순차 스캔로 효율적인 부분수열 매칭을 수행하는 KV-match 알고리즘의 개발.
• 매칭 과정에서 검토하는 후보 창의 수를 최소화하기 위한 창 최소화 기법의 도입.
• 쿼리 처리 중 캐시 효율성을 향상시키고 I/O 오버헤드를 줄이기 위한 창 재정렬 적용.
• 다양한 길이의 인덱스를 사용하여 임의의 길이의 쿼리를 지원하기 위해 KV-match$_{DP}$로의 확장.
• 최적의 효율성을 확보하기 위해 다양한 인덱스 길이에 걸쳐 쿼리를 분할하기 위한 이차원 동적 프로그래밍 알고리즘 설계.

실험 결과

연구 질문

• RQ1 대규모 시간 시리즈 데이터베이스에서 파일 기반 인덱스 구조가 부분수열 매칭에 효과적으로 사용될 수 있는가?
• RQ2 창 최소화 및 창 재정렬 최적화 기법이 분산 스토리지 시스템에서 부분수열 매칭 성능을 어떻게 향상시킬 수 있는가?
• RQ3 확장 가능한 인덱스 구조에서 임의의 길이의 부분수열 쿼리를 처리하는 최적의 방법은 무엇인가?
• RQ4 KV-match의 성능은 기존의 트리 기반 인덱싱 방법 대비 속도와 인덱스 크기 측면에서 어떻게 비교되는가?
• RQ5 KV-match는 로컬 파일 시스템과 HBase와 같은 분산 스토리지 시스템 모두에서 높은 효율성을 달성할 수 있는가?

주요 결과

• KV-match는 기존 방법 대비 쿼리 처리 성능을 수배 수준으로 향상시키며, 동시에 인기 있는 트리 기반 인덱스와 유사한 크기의 인덱스를 유지한다.
• 창 최소화 및 창 재정렬 최적화 기법은 쿼리 실행 중 I/O 연산 수를 크게 줄이고 캐시 활용도를 향상시킨다.
• KV-match$_{DP}$는 이차원 동적 프로그래밍 기반의 분할 기법을 통해 다양한 인덱스 길이에 걸쳐 쿼리를 동적으로 분할함으로써 임의의 길이의 쿼리를 성공적으로 지원한다.
• 제안된 접근법은 분산 스토리지 시스템과 천연 호환되며, HDFS 및 HBase에 최소한의 엔지니어링 오버헤드로 배포가 가능하다.
• 합성 및 실세계 데이터셋에 대한 실험 평가를 통해 KV-match가 대규모 시간 시리즈 워크로드에서 높은 효율성과 확장성을 제공하는 것으로 확인되었다.