[논문 리뷰] Random Warping Series: A Random Features Method for Time-Series Embedding

Lingfei Wu, Ian En-Hsu Yen외 4명|arXiv (Cornell University)|2018. 09. 14.

Time Series Analysis and Forecasting참고 문헌 2인용 수 31

한 줄 요약

이 논문은 시간 시리즈를 랜덤 시리즈에 대한 동적 시간 왜곡(DTW)을 사용하여 명시적 벡터 임베딩으로 변환하는 랜덤 워핑 시리즈(RWS)를 제안한다. 이는 효율적이고 확장 가능한 커널 기반 학습을 가능하게 하며, 표본 수와 시퀀스 길이에 대해 계산 복잡도를 이차에서 선형으로 감소시켜 기존의 DTW 기반 방법보다 최대 수개의 지수 차수만큼 빠른 속도 향상을 이룬다.

ABSTRACT

Time series data analytics has been a problem of substantial interests for decades, and Dynamic Time Warping (DTW) has been the most widely adopted technique to measure dissimilarity between time series. A number of global-alignment kernels have since been proposed in the spirit of DTW to extend its use to kernel-based estimation method such as support vector machine. However, those kernels suffer from diagonal dominance of the Gram matrix and a quadratic complexity w.r.t. the sample size. In this work, we study a family of alignment-aware positive definite (p.d.) kernels, with its feature embedding given by a distribution of \\emph{Random Warping Series (RWS)}. The proposed kernel does not suffer from the issue of diagonal dominance while naturally enjoys a \\emph{Random Features} (RF) approximation, which reduces the computational complexity of existing DTW-based techniques from quadratic to linear in terms of both the number and the length of time-series. We also study the convergence of the RF approximation for the domain of time series of unbounded length. Our extensive experiments on 16 benchmark datasets demonstrate that RWS outperforms or matches state-of-the-art classification and clustering methods in both accuracy and computational time. Our code and data is available at { \\url{https://github.com/IBM/RandomWarpingSeries}}.

연구 동기 및 목표

• 시간 시리즈 학습에서 DTW 기반 글로벌 앵커링 커널의 높은 계산 복잡도와 대각선 우세 문제를 해결하기 위해.
• 시간 시리즈를 위한 양의 정부호 커널을 개발하여 효율적인 랜덤 특징 근사화를 지원하기 위해.
• 대규모 시간 시리즈 분류 및 군집화에서 선형 시간 복잡도를 달성하면서 정확도를 유지하거나 향상시키기 위해.
• 랜덤 특징 이론을 길이가 유계가 아닌 시간 시리즈까지 확장하기 위해.
• 다양한 탄성 거리 측정법(DTW를 초월한)을 지원할 수 있는 확장 가능하고 병렬 처리 가능한 프레임워크를 제공하기 위해.

제안 방법

• 입력 시간 시리즈와 랜덤 워핑 시리즈의 분포 간 DTW를 계산하여 양의 정부호 커널의 가족을 구성한다.
• R개의 랜덤 워핑 시리즈를 사용한 랜덤 특징 근사화를 통해 커널 계산을 선형화하여 계산 복잡도를 O(N²L²)에서 O(NRL)으로 감소시킨다.
• 특징 맵은 특정 분포 p(ω)에서 독립적으로 추출된 R개의 랜덤 시리즈 각각과의 DTW 값으로 정의된다.
• ε 정밀도를 확보하기 위해 R = Ω(1/ε²)개의 랜덤 시리즈로 충분하며, 이는 정확한 커널에 대해 균일 수렴함을 보여준다.
• 프레임워크는 CID 및 DTDC와 같은 다른 탄성 거리 측정법으로도 확장 가능하다.
• 메서드는 완전히 병렬 처리 가능하며, SVM 및 K-means 군집화와 같은 표준 커널 방법과 호환된다.

실험 결과

연구 질문

• RQ1 DTW 기반 커널의 랜덤 특징 근사화는 시간 시리즈 학습에서 높은 정확도와 선형 계산 복잡도를 동시에 달성할 수 있는가?
• RQ2 제안된 RWS 방법은 글로벌 앵커링 커널에 내재된 대각선 우세 문제를 완화하는가?
• RQ3 길이가 무한한 시간 시리즈에 대해 랜덤 특징 근사화가 정확한 커널에 대해 균일하게 수렴하는가?
• RQ4 정확도와 런타임 측면에서 RWS는 최고 수준의 시간 시리즈 분류 및 군집화 방법과 비교해 어떻게 성능을 내는가?
• RQ5 조절 가능한 랭크 R을 통해 RWS 프레임워크는 정확도와 계산 효율성 사이의 트레이드오프를 지원할 수 있는가?

주요 결과

• RWS는 분류 및 군집 정확도에서 16개의 벤치마크 데이터셋 전반에서 기존 최고 수준의 방법을 일관되게 능가하거나 동등하게 유지한다.
• 작은 랭크 R을 사용하는 RWS(SR)는 1NN-DTW 및 1NN-DTW opt와 유사하거나 더 높은 정확도를 달성하면서도 훨씬 더 빠른 속도를 기록한다.
• 큰 랭크를 가진 RWS(LR)는 16개 데이터셋 중 11개에서 DTWF 및 TGAK보다 뛰어난 정확도를 달성했으며, 1~2개의 지수 차수만큼 빠른 속도 향상을 이룬다.
• RWS는 계산 복잡도를 O(N²L²)에서 O(NRL)로, 메모리 사용량을 O(NL + N²)에서 O(NR)로 감소시켜 대규모 데이터셋에 대한 확장성을 가능하게 한다.
• 군집화에서는 RWS가 KMeans-DTW 및 CLDS보다 정확도와 런타임 모두에서 뛰어나며, 8개의 데이터셋에서 K-Shape보다 5승, 1무, 2패를 기록했고, 더 높은 효율성을 확보했다.
• 이론적 분석을 통해 길이가 유계가 아닌 시간 시리즈에 대해서도 ε 정밀도 내에서 정확한 커널에 대해 균일 수렴하기 위해 R = Ω(1/ε²)개의 랜덤 시리즈로 충분함을 확인했다.