[論文レビュー] Soft-DTW: a Differentiable Loss Function for Time-Series

Marco Cuturi, Mathieu Blondel|arXiv (Cornell University)|Mar 5, 2017

Time Series Analysis and Forecasting参考文献 24被引用数 140

ひとこと要約

本論文は soft-DTW を導入する。DTW の微分可能で平滑化された版であり、DTW の幾何学に基づく平均化、クラスタリング、マルチステップ予測などの時系列タスクに対して勾配ベースの学習を可能にする。計算量は二次の時間計算量と一次の空間計算量。

ABSTRACT

We propose in this paper a differentiable learning loss between time series, building upon the celebrated dynamic time warping (DTW) discrepancy. Unlike the Euclidean distance, DTW can compare time series of variable size and is robust to shifts or dilatations across the time dimension. To compute DTW, one typically solves a minimal-cost alignment problem between two time series using dynamic programming. Our work takes advantage of a smoothed formulation of DTW, called soft-DTW, that computes the soft-minimum of all alignment costs. We show in this paper that soft-DTW is a differentiable loss function, and that both its value and gradient can be computed with quadratic time/space complexity (DTW has quadratic time but linear space complexity). We show that this regularization is particularly well suited to average and cluster time series under the DTW geometry, a task for which our proposal significantly outperforms existing baselines. Next, we propose to tune the parameters of a machine that outputs time series by minimizing its fit with ground-truth labels in a soft-DTW sense.

研究の動機と目的

• 長さが異なる出力や、時間軸に沿ったシフトやディレーションを扱う時系列出力を前提とした学習を動機づける。
• soft-DTW を DTW を一般化する微分可能な損失として導入する。
• soft-DTW の入力に対する勾配を効率的に計算できることを示す。
• DTW 幾何に基づく平均化、クラスタリング、時系列区間の予測への応用を示す。

提案手法

• DTW のアライメントコストを平滑化する differentiable min^gamma 演算子を用いて soft-DTW を定義する。
• min^gamma を用いた前向きベルマン風再帰を計算して dtw_gamma(x,y) を O(nm) 時間・空間で得る。
• 勾配公式を導出する：gamma>0 のとき、 grad_x dtw_gamma(x,y) = (∂Δ/∂x)^T E_gamma[A]、ここで E_gamma[A] は Gibbs 平均化されたアライメント行列である。
• バックワードパス（Algorithm 2）を提供して、DP を通して勾配を得る。時間・空間ともに O(nm)。
• soft-DTW を時系列の平均化（Fréchet 平均）、クラスタリング（soft-DTW を用いた k-means）、ニューラルモデルによるマルチステップ予測の適合損失として用いる方法を示す。

実験結果

リサーチクエスチョン

• RQ1 soft-DTW は、時系列出力を伴うエンドツーエンド学習の微分可能な DTW の代替として機能するか。
• RQ2 勾配ベースの最適化を可能にするために、soft-DTW の勾配をどのように効率的に計算できるか。
• RQ3 DTW 幾何の下での平均化、クラスタリング、時系列予測において soft-DTW はどんな利点を提供するか。
• RQ4 平滑化（gamma）の効果が、古典的 DTW/DBA ベースラインと比較した最適化の展開と予測性能にどう影響するか。

主な発見

• Soft-DTW は微分可能で、勾配を損失と同時に二次時間・空間で計算できる。
• バックワードパスは数値安定性と効率のために log-sum-exp の計算を再利用する。
• DTW の平滑化（gamma>0 の選択）は、最適化を改善し、DTW/DBA ベースラインと比較して時系列平均化（バリセンター）やクラスタリングにおける悪い局所極小を回避するのに役立つ。
• Soft-DTW はより滑らかな重心を生み、DBA やサブグラディエント法よりも適合損失が小さくなることが多く、特に gamma が小さくなるほどそうなる。
• 学習設定（例：マルチステップ先予測）で用いると、soft-DTW は適切な時間シフトと共に急な変化を捉える予測を生成できる。