[논문 리뷰] Similarity Preserving Representation Learning for Time Series Clustering

Qi Lei, Jinfeng Yi외 3명|arXiv (Cornell University)|2017. 02. 12.

Time Series Analysis and Forecasting참고 문헌 39인용 수 13

한 줄 요약

이 논문은 시간 시리즈를 저차원 특징 벡터로 변환하면서 쌍별 유사도를 유지하는 유사도 보존 표현 학습 프레임워크인 SPIRAL을 제안한다. 이를 통해 기존의 표준 알고리즘을 사용한 효율적인 군집화가 가능해진다. O(n log n)개의 쌍별 유사도 샘플링과 매개변수 없는 순환 좌표 강하 알고리즘을 활용한 저질서 행렬 분해를 통해, 실제 데이터셋에서 기존 방법 대비 최대 100배 빠른 속도 향상과 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

A considerable amount of clustering algorithms take instance-feature matrices as their inputs. As such, they cannot directly analyze time series data due to its temporal nature, usually unequal lengths, and complex properties. This is a great pity since many of these algorithms are effective, robust, efficient, and easy to use. In this paper, we bridge this gap by proposing an efficient representation learning framework that is able to convert a set of time series with various lengths to an instance-feature matrix. In particular, we guarantee that the pairwise similarities between time series are well preserved after the transformation, thus the learned feature representation is particularly suitable for the time series clustering task. Given a set of $n$ time series, we first construct an $n imes n$ partially-observed similarity matrix by randomly sampling $\mathcal{O}(n \log n)$ pairs of time series and computing their pairwise similarities. We then propose an efficient algorithm that solves a non-convex and NP-hard problem to learn new features based on the partially-observed similarity matrix. By conducting extensive empirical studies, we show that the proposed framework is more effective, efficient, and flexible, compared to other state-of-the-art time series clustering methods.

연구 동기 및 목표

• 시간 시리즈 데이터와 정적 군집 알고리즘 간 격차를 메우기 위해, 인스턴스-특징 행렬을 요구하는 군집 알고리즘에 적합한 표현 학습 방법을 개발하는 것.
• 시간 시리즈 군집화에서 전체 쌍별 유사도를 계산하는 데 발생하는 높은 계산 비용 문제를 해결하는 것.
• 저차원 임bedding 공간에서 시간 시리즈 간의 쌍별 유사도를 유지하여 군집 성능 향상에 기여하는 것.
• 표현 학습을 통해 k-means와 같은 효율적인 오프더섀프트 군집 알고리즘을 시간 시리즈 데이터에 적용할 수 있도록 하는 것.
• DTW 및 MSM과 같은 다양한 시간 시리즈 유사도 측정 방법과 호환되는 유연한 프레임워크 개발

제안 방법

• DTW 또는 기타 유사도 측정 방법을 사용해 n개의 시간 시리즈 간 O(n log n)개의 쌍별 유사도를 무작위로 샘플링하여 부분 관측된 유사도 행렬을 구성한다.
• 표현 학습 문제를 대칭 행렬 분해로 공식화한다: 관측된 유사도 행렬의 샘플링된 항목에서 XXT가 유사도 행렬을 근사하도록 n×d 특징 행렬 X를 학습한다.
• 희소 관측 자료만을 사용하여 비볼록이고 NP-난이도인 행렬 분해 문제를 효율적으로 해결하는 매개변수 없는 정확한 순환 좌표 강하 알고리즘을 제안한다.
• 시간 시리즈 유사도 행렬의 저질서 구조를 활용하며, 행렬 완성 이론적 결과와 공동 이동 패턴에 대한 경험적 증거에 의해 정당화된다.
• 학습된 d차원 특징 표현을 k-means와 같은 표준 군집 알고리즘의 입력으로 사용하여 빠르고 정확한 군집화를 가능하게 한다.
• DTW, MSM 등 다양한 유사도 측정 방법을 지원하기 위해, 임베딩 공간에서 그들 고유의 특성을 유지하는 모듈러형 프레임워크를 설계한다.

실험 결과

연구 질문

• RQ1 O(n log n)개의 무작위 샘플링된 항목으로부터 시간 시리즈 유사도 행렬의 저질서 근사치를 효과적으로 학습할 수 있는가?
• RQ2 희소 유사도 행렬에 대한 대칭 행렬 분해를 위한 매개변수 없는 효율적 알고리즘이 군집화를 위한 고품질 특징 표현을 도출할 수 있는가?
• RQ3 제안된 프레임워크는 k-means와 같은 표준 군집 알고리즘을 사용해 전문화된 시간 시리즈 군집 방법보다 정확도와 효율성 면에서 뛰어난 성능을 내는가?
• RQ4 다양한 길이와 특성을 가진 시간 시리즈 데이터셋에서 프레임워크의 성능은 어떻게 되는가?
• RQ5 DTW 및 MSM과 같은 다양한 유사도 측정 방법과 함께 작동할 수 있도록 충분히 탄력적인가?

주요 결과

• SPIRAL-DTW-k-Means는 85개 데이터셋 중 72.9%에서 정규화 상호정보량(NMI) 측정 기준으로 k-Shape, CLDS 및 k-Means-DTW를 능가한다.
• SPIRAL-MSM-k-Means는 각각 81.2%와 75.3%의 데이터셋에서 Laplace-MSM-k-Means 및 k-Medoids-MSM보다 높은 NMI를 기록한다.
• ElectricDevice 데이터셋(16,637개의 시간 시리즈)에서 SPIRAL-DTW-k-Means는 2분 미만으로 실행되며, k-Means-DTW는 169분, Laplace-DTW-k-Means는 5시간이 소요된다.
• 전체 DTW 유사도 행렬 계산 시간을 n=150,000일 때 28시간 이상에서 O(n log n) 샘플링을 사용해 단 3분으로 줄였다.
• n=150,000, d=15인 경우 제안된 순환 좌표 강하 알고리즘이 25초 내로 특징을 학습하여 높은 효율성을 입증했다.
• k-means와 같은 간단한 군집 알고리즘도 학습된 표현에서 강력한 성능을 내어, 특징 학습의 품질을 시사한다.