[논문 리뷰] metricDTW: local distance metric learning in Dynamic Time Warping

Jiaping Zhao, Zerong Xi외 1명|arXiv (Cornell University)|2016. 06. 11.

Time Series Analysis and Forecasting참고 문헌 18인용 수 3

한 줄 요약

이 논문은 동적 시간 왜곡(DTW)를 사용한 시간적 시계열의 k-최근접 이웃 분류를 향상시키기 위해, 기술자 집합 내부 및 간의 다수의 국소 맥갈라노비스 거리 메트릭스를 학습하는 metricDTW를 제안한다. 표준 유클리드 거리 대신 DTW 정렬 경로를 따라 학습된 맥갈라노비스 거리를 사용함으로써, 70개의 UCR 시계열 데이터셋에서 최신 기준 성능을 달성하였으며, p값 < 1.1×10⁻⁴ 이하로 1NN-DTW를 크게 앞서나갔다.

ABSTRACT

We propose to learn multiple local Mahalanobis distance metrics to perform k-nearest neighbor (kNN) classification of temporal sequences. Temporal sequences are first aligned by dynamic time warping (DTW); given the alignment path, similarity between two sequences is measured by the DTW distance, which is computed as the accumulated distance between matched temporal point pairs along the alignment path. Traditionally, Euclidean metric is used for distance computation between matched pairs, which ignores the data regularities and might not be optimal for applications at hand. Here we propose to learn multiple Mahalanobis metrics, such that DTW distance becomes the sum of Mahalanobis distances. We adapt the large margin nearest neighbor (LMNN) framework to our case, and formulate multiple metric learning as a linear programming problem. Extensive sequence classification results show that our proposed multiple metrics learning approach is effective, insensitive to the preceding alignment qualities, and reaches the state-of-the-art performances on UCR time series datasets.

연구 동기 및 목표

• 표준 유클리드 거리 이외의 데이터 규칙성을 반영하는 거리 메트릭스를 학습하여 시간적 시계열의 kNN 분류 성능을 향상시키기 위해.
• DTW에서 단일 전역 거리 메트릭스를 사용하는 데서 비롯되는 한계를 해결하기 위해.
• 기술자 군집을 통한 서브시퀀스 패턴에 적응하는 국소 메트릭스 학습 프레임워크를 DTW 내에서 개발하기 위해.
• DTW 기반 1NN 분류에서 학습된 메트릭스를 사용하여 UCR 시계열 벤치마크 데이터셋에서 최신 기준 성능을 달성하기 위해.
• 메트릭스 학습이 이전 DTW 정렬 품질에 대해 강건함을 입증하여 실세계 적용에 실용적임을 보여주기 위해.

제안 방법

• 표준 DTW를 통한 시간적 시계열 정렬을 통해 정렬 경로를 확보하고, 이를 고정 입력으로 간주한다.
• 각 시계열의 점은 국소 구조적 맥락을 캡처하는 기술자(예: 원시 서브시퀀스, HOG-1D, 기울기)로 표현된다.
• k-평균을 통해 k개의 군집으로 기술자를 군집화하고, 각 군집 내부 및 모든 군집 쌍 간에 별도의 맥갈라노비스 거리 메트릭스를 학습한다.
• 메트릭스 학습은 대규모 마진 최근접 이웃(LMNN) 프레임워크 기반 선형 프로그래밍 문제로 공식화되며, 서로 다른 클래스 간의 큰 마진을 최적화하기 위해 설계된다.
• DTW 거리는 표준 유클리드 거리를 대체하여 정렬 경로를 따라 학습된 맥갈라노비스 거리의 합으로 재정의된다.
• 정렬 이후 적용되기 때문에 정렬 품질에 의존하지 않으며, 기존의 어떤 DTW 정렬 방법과도 호환된다.

실험 결과

연구 질문

• RQ1 다수의 국소 맥갈라노비스 거리 메트릭스를 학습하는 것이 DTW 기반 시계열 분류의 kNN 분류 성능 향상에 기여하는가?
• RQ2 제안된 메트릭스 학습은 이전 DTW 정렬의 품질에 얼마나 민감한가?
• RQ3 국소 기술자와 군집별 메트릭스를 사용할 경우 다양한 시계열 데이터셋 전반에서 일관된 성능 향상이 이루어지는가?
• RQ4 제안된 방법은 유클리드 거리와 표준 DTW 정렬을 사용하는 표준 1NN-DTW 분류기보다 성능이 뛰어나게 되는가?
• RQ5 기본 매개변수인 기술자 군집 수는 최종 분류 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 metricDTW 방법은 70개의 UCR 시계열 데이터셋에서 최신 기준 성능을 달성하였으며, 메트릭스 학습 및 무메트릭스 변형에 대해 각각 p값 1.1×10⁻⁴ 및 1.8×10⁻⁵로 표준 1NN-DTW 베이스라인을 유의미하게 뛰어넘었다.
• 모든 세 가지 기술자(원시 서브시퀀스, HOG-1D, 기울기)에서 분류 정확도가 향상되었으며, 서명 순위 윌콕슨 검정을 통한 통계적 유의성 검증 결과(p < 0.05)에서 유의미한 향상이 확인되었다.
• 이전 DTW 정렬의 품질이 다양할 경우(정렬 오차로 측정됨)에도 불구하고, 후속 메트릭스 학습은 1NN 성능을 일관되게 향상시켰으며, 정렬 오차에 대해 강건함을 시사한다.
• 기술자 군집 수(k ∈ {5,10,15,20,25,30})는 성능에 유의미한 정적 영향을 미치며, 모든 k 값이 유클리드 기반 베이스라인 대비 통계적으로 유의미한 향상(모든 경우 p < 0.05)을 보였다.
• 사용된 기술자 유형에 관계없이 일관되고 상당한 성능 향상이 이루어지며, 국소 메트릭스 학습 접근법의 일반화 능력을 입증한다.
• 반복적이고 동시 정렬 및 메트릭스 학습은 성능을 떨어뜨리는 것으로 나타났으며, 현재 공식화에서는 정렬과 메트릭스 학습을 분리하는 것이 바람직하다는 것을 시사한다.