[논문 리뷰] Differentiable Divergences Between Time Series

Mathieu Blondel, Arthur Mensch외 1명|arXiv (Cornell University)|2020. 10. 16.

Time Series Analysis and Forecasting참고 문헌 25인용 수 21

한 줄 요약

이 논문은 소프트-DTW의 핵심적 한계를 해결하는 소프트-DTW 발산을 제안한다. 소프트-DTW는 음수가 될 수 있고, 동일한 시계열일 경우에도 최소화되지 않기 때문에 이러한 문제를 해결한다. 본 방법은 엔트로피 정규화와 보정 항을 사용하여 발산의 타당성을 확보하며, 84개의 데이터셋에서 DTW와 소프트-DTW에 비해 시계열 분류 및 평균화 작업에서 뚜렷한 정확도 향상을 보였다.

ABSTRACT

Computing the discrepancy between time series of variable sizes is notoriously challenging. While dynamic time warping (DTW) is popularly used for this purpose, it is not differentiable everywhere and is known to lead to bad local optima when used as a "loss". Soft-DTW addresses these issues, but it is not a positive definite divergence: due to the bias introduced by entropic regularization, it can be negative and it is not minimized when the time series are equal. We propose in this paper a new divergence, dubbed soft-DTW divergence, which aims to correct these issues. We study its properties; in particular, under conditions on the ground cost, we show that it is a valid divergence: it is non-negative and minimized if and only if the two time series are equal. We also propose a new "sharp" variant by further removing entropic bias. We showcase our divergences on time series averaging and demonstrate significant accuracy improvements compared to both DTW and soft-DTW on 84 time series classification datasets.

연구 동기 및 목표

• 소프트-DTW의 한계를 해결하기 위해, 엔트로피 편향으로 인해 음수가 될 수 있고, 동일한 시계열일 경우에도 최소화되지 않는 문제를 해결한다.
• 비음수이자 시계열이 정확히 동일할 때만 엄격히 최소화되는 새로운 발산인 소프트-DTW 발산을 제안한다.
• 엔트로피 편향을 추가로 줄여 보다 정밀한 정렬 품질을 확보하기 위해 '예리한'(sharp) 변형을 개발한다.
• DTW 및 소프트-DTW에 비해 시계열 분류, 평균화, 보간 작업에서 뛰어난 성능을 보임을 입증한다.

제안 방법

• 소프트-DTW의 수정된 형태로, 비음수성과 정확한 동일성에서의 최소화를 보장하기 위해 편향 보정 항을 포함한 소프트-DTW 발산을 제안한다.
• DTW의 min 연산을 부드러운 최소값으로 대체하기 위해 엔트로피 정규화를 사용하여, 동적 프로그래밍의 효율성을 유지하면서도 미분 가능성을 확보한다.
• 모든 정렬에 대한 수정된 부드러운 최소값으로서의 발산을 유도하며, 표준 소프트-DTW에 존재하는 엔트로피 편향을 제거하는 보정 항을 포함한다.
• 정규화 파rameter를 추가로 최소화하여 엔트로피 편향을 줄이고, 동시에 미분 가능성을 유지하는 '예리한'(sharp) 변형을 도입한다.
• 동적 프로그래밍을 활용해 O(mn) 시간 복잡도로 발산을 계산하며, DTW 및 소프트-DTW와 동일한 복잡도를 유지한다.
• 시계열 분류, 평균화, 보간 작업에 대한 엔드 투 엔드 학습 파이프라인에 발산을 적용한다.

실험 결과

연구 질문

• RQ1 소프트-DTW의 한계를 극복하기 위해, 비음수이자 두 시계열이 동일할 때만 최소화되는, 비음수이자 미분 가능한 발산을 구성할 수 있는가?
• RQ2 소프트-DTW에서 엔트로피 정규화가 동일성에서 최소화를 방해하는 편향을 유도하는 방식은 무엇이며, 이를 보정할 수 있는가?
• RQ3 제안된 소프트-DTW 발산은 시계열 분류 및 평균화 작업에서 DTW 및 소프트-DTW를 초월하는 성능을 보일 수 있는가?
• RQ4 발산의 '예리한'(sharp) 변형은 엔트로피 편향을 추가로 줄일 수 있으며, 동시에 미분 가능성과 계산 효율성을 유지할 수 있는가?

주요 결과

• 소프트-DTW 발산은 지면 비용에 대한 온건한 조건 하에 비음수이며, 두 시계열이 동일할 때만 최소화된다.
• '예리한'(sharp) 변형은 엔트로피 편향을 추가로 감소시켜 정렬의 정밀도를 향상시킨다.
• 84개의 시계열 분류 데이터셋에서 제안된 발산은 DTW 및 소프트-DTW보다 뚜렷한 정확도 향상을 보였다.
• 소프트-DTW 발산을 사용한 시계열 평균화 결과는 DTW나 소프트-DTW를 사용한 경우보다 더 우수한 성능을 보였으며, 클러스터링 및 표현 학습 향상이 입증되었다.
• 계산 복잡도가 O(mn)을 유지하여 딥러닝 파이프라인에서 효율적으로 활용 가능하다.
• 실증 결과는 UWaveGestureLibrary, HandOutlines, SyntheticControl을 포함한 다양한 데이터셋에서 일관된 성능 향상을 보였다.