[논문 리뷰] Optimal Warping Paths are unique for almost every Pair of Time Series

Brijnesh J. Jain, David Schultz|arXiv (Cornell University)|2017. 05. 16.

Time Series Analysis and Forecasting참고 문헌 17인용 수 5

한 줄 요약

이 논문은 제곱 오차 국소 비용 하에서, 시간 시리즈 쌍의 공간에서 동적 시간 워핑(DTW)의 최적 워핑 경로가 거의 곳곳에서 유일함을 증명한다. 측도 이론적 분석을 통해 비유일성이 발생하는 것은 측도가 0인 집합 뿐임을 보이며, 이는 거의 모든 시간 시리즈 쌍에서 유일한 최적 경로가 존재함을 의미한다. 이는 DTW 기반 방법에서의 안정적인 학습과 최적화를 가능하게 한다.

ABSTRACT

Update rules for learning in dynamic time warping spaces are based on optimal warping paths between parameter and input time series. In general, optimal warping paths are not unique resulting in adverse effects in theory and practice. Under the assumption of squared error local costs, we show that no two warping paths have identical costs almost everywhere in a measure-theoretic sense. Two direct consequences of this result are: (i) optimal warping paths are unique almost everywhere, and (ii) the set of all pairs of time series with multiple equal-cost warping paths coincides with the union of exponentially many zero sets of quadratic forms. One implication of the proposed results is that typical distance-based cost functions such as the k-means objective are differentiable almost everywhere and can be minimized by subgradient methods.

연구 동기 및 목표

• 동적 시간 워핑(DTW) 공간에서 최적 워핑 경로의 비유일성으로 인한 이론적 및 실용적 과제를 해결하기 위해.
• 시간 시리즈 쌍 간의 최적 워핑 경로에서 비유일성의 빈도를 조사하기 위해.
• 학습 알고리즘의 맥락에서 최적 워핑 경로가 반드시 유일함이 보장되는 조건을 설정하기 위해.
• k-means와 학습 벡터 양자화와 같은 DTW 기반 학습 방법에서의 미분 가능성과 하향 기울기 최적화를 위한 이론적 기반을 마련하기 위해.
• 측도 이론을 사용하여 다변량 시간 시리즈로 비유일성 결과를 일반화하기 위해.

제안 방법

• 비유일성이 발생하는 집합을 측도가 0인 집합으로 정의하기 위해 측도 이론적 분석을 사용한다.
• 두 워핑 경로 간의 비용 차이를 이차형식 $ C_i(x,y) - C_j(x,y) = z^T A^{(ij)} z $ 로 모델링하며, 여기서 $ z = (x,y) $ 이고, 이 차이가 측도가 0인 집합에서만 0이 됨을 보인다.
• 다중 동일 비용 워핑 경로를 가진 시간 시리즈 쌍의 집합이 지수적으로 많은 이차형식의 측도가 0인 집합의 합집합임을 증명한다.
• 조각별 미분 가능 함수의 결과를 적용하여 최소 비용 함수 $ \delta_x(y) = \min_p C_p(x,y) $ 가 거의 곳곳에서 조각별 미분 가능하고 미분 가능함을 보인다.
• 각 다변량 시리즈를 구성 요소 단일 시리즈로 분해하고, 동일한 비용 공식을 구성 요소별로 적용하여 단일 시리즈 결과를 다변량 시리즈로 확장한다.
• 선형 통합 $ \Phi_d $ 와 $ \Psi_d $ 를 사용하여 변형된 시간 시리즈를 표현하며, DTW 비용이 통합된 시리즈의 제곱 유클리드 노름과 같음을 보인다: $ C_p(x,y) = \| \Phi_d(x) - \Psi_d(y) \|^2 $.

실험 결과

연구 질문

• RQ1 DTW에서 최적 워핑 경로가 유일한 조건은 무엇인가?
• RQ2 시간 시리즈 쌍의 공간에서 최적 워핑 경로의 비유일성은 얼마나 흔한가?
• RQ3 다양한 동일 비용 워핑 경로를 가진 시간 시리즈 쌍의 집합을 측도 이론적으로 기술할 수 있는가?
• RQ4 제곱 오차 국소 비용을 사용할 때 최적 워핑 경로의 비유일성은 거의 곳곳에서 성립하는가?
• RQ5 DTW의 다변량 확장은 최적 워핑 경로의 비유일성 성질을 어떻게 유지하는가?

주요 결과

• 제곱 오차 국소 비용을 사용할 경우, 시간 시리즈 쌍의 공간에서 최적 워핑 경로는 거의 곳곳에서 유일하다.
• 비유일한 최적 워핑 경로를 가진 시간 시리즈 쌍의 집합은 측도가 0이며, 이는 지수적으로 많은 이차형식의 측도가 0인 집합의 합집합과 일치한다.
• 최소 비용 함수 $ \delta_x(y) = \min_p C_p(x,y) $ 는 거의 곳곳에서 조각별 미분 가능하고, 이는 하향 기울기 기반 최적화를 가능하게 한다.
• k-means와 학습 벡터 양자화와 같은 기반 거리 기반 학습 목표 함수는 DTW 공간에서 거의 곳곳에서 미분 가능하며, 이는 안정적인 최적화를 지원한다.
• 다변량 DTW의 확장은 측도의 곱공간을 사용하여 구성 요소별로 일반화되므로 비유일성 성질을 유지한다.
• 이론적 기반은 DTW 기반 학습에서 기울기 기반 방법의 사용을 지원하며, 비가역 점들이 측도적으로 무시할 수 있음을 보여준다.