[논문 리뷰] Soft-DTW: a Differentiable Loss Function for Time-Series

Marco Cuturi, Mathieu Blondel|arXiv (Cornell University)|2017. 03. 05.

Time Series Analysis and Forecasting참고 문헌 24인용 수 140

한 줄 요약

논문은 미분 가능하고 스무딩된 버전의 DTW인 soft-DTW를 소개하며, DTW 기하학 하에서 평균화, 클러스터링, 다단 예측과 같은 시계열 작업에 대해 그래디언트 기반 학습을 가능하게 하고, 시간 복잡도는 이차적이며 공간 복잡도는 선형이다.

ABSTRACT

We propose in this paper a differentiable learning loss between time series, building upon the celebrated dynamic time warping (DTW) discrepancy. Unlike the Euclidean distance, DTW can compare time series of variable size and is robust to shifts or dilatations across the time dimension. To compute DTW, one typically solves a minimal-cost alignment problem between two time series using dynamic programming. Our work takes advantage of a smoothed formulation of DTW, called soft-DTW, that computes the soft-minimum of all alignment costs. We show in this paper that soft-DTW is a differentiable loss function, and that both its value and gradient can be computed with quadratic time/space complexity (DTW has quadratic time but linear space complexity). We show that this regularization is particularly well suited to average and cluster time series under the DTW geometry, a task for which our proposal significantly outperforms existing baselines. Next, we propose to tune the parameters of a machine that outputs time series by minimizing its fit with ground-truth labels in a soft-DTW sense.

연구 동기 및 목표

• 시계열 형상의 출력을 갖는 학습을 촉진하고, 길이 가변성, 시프트 및 시간 축을 따라 발생하는 dilation을 처리한다.
• soft-DTW를 DTW를 일반화하는 미분 가능 손실로 도입한다.
• soft-DTW의 입력에 대한 그래디언트가 효율적으로 계산될 수 있음을 보인다.
• DTW 기하학 하에서 시계열 구간의 평균화, 클러스터링 및 예측에 대한 적용을 시연한다.

제안 방법

• DTW 정렬 비용을 스무딩하는 differentiable min^gamma 연산자를 사용해 soft-DTW를 정의한다.
• min^gamma를 사용한 forward 벨만-유사 재귀를 계산해 dtw_gamma(x,y)를 O(nm) 시간 및 공간으로 얻는다.
• 그래디언트 공식을 도출한다: gamma>0일 때, grad_x dtw_gamma(x,y) = (∂Δ/∂x)^T E_gamma[A], 여기서 E_gamma[A]는 Gibbs-averaged 정렬 행렬이다.
• DP를 거치며 역전파하는 백워드 패스(Algorithm 2)를 제공해 gradient를 O(nm) 시간 및 공간으로 얻는다.
• soft-DTW를 시계열 평균화(Fréchet 평균), 클러스터링(soft-DTW를 이용한 k-평균), 그리고 신경망 모델을 통한 다단 예측 적합 손실로 사용하는 방법을 보인다.

실험 결과

연구 질문

• RQ1 soft-DTW가 시계열 출력을 갖는 엔드-투-엔드 학습을 위한 DTW의 미분 가능 대안으로 작용할 수 있는가?
• RQ2 soft-DTW의 그래디언트를 효율적으로 계산해 그래디언트 기반 최적화를 가능하게 하려면 어떻게 해야 하는가?
• RQ3 DTW 기하학 하에서 평균화, 클러스터링, 예측에 대해 soft-DTW가 어떤 이점을 제공하는가?
• RQ4 스무딩( gamma)이 최적화 지형과 예측 성능에 대해 고전적 DTW/DBA 기초 방법과 비교해 어떤 영향을 미치는가?

주요 결과

• Soft-DTW는 손실과 함께 이차 시간/공간 복잡도 내에서 계산 가능한 그래디언트를 가진 미분 가능하다.
• 역전파는 수치적 안정성과 효율성을 위해 log-sum-exp 계산을 재사용한다.
• DTW를 스무딩하는 것( gamma>0를 선택) 은 최적화를 개선하고 시계열 평균화 및 클러스터링에서 DTW/DBA 기초 대비 더 나은 성능을 제공한다.
• Soft-DTW는 더 부드러운 barycenters를 산출하고, 특히 gamma가 감소할 때 DBA 및 부분 미분 접근법보다 적합도 손실이 낮은 경향이 있다.
• 학습 구성에서 사용될 때(예: 다단 예측) soft-DTW는 적절한 시간 이동으로 급격한 변화를 포착하는 예측을 생성할 수 있다.