[論文レビュー] Differentiable Divergences Between Time Series

Mathieu Blondel, Arthur Mensch+1 more|arXiv (Cornell University)|Oct 16, 2020

Time Series Analysis and Forecasting参考文献 25被引用数 21

ひとこと要約

本稿では、時系列データ間の微分可能で非負の距離（発散）である soft-DTW 発散を提案する。この発散は、時系列が等しい場合にのみ最小化され、soft-DTW の欠点（負の値を取り得ること、同一時系列でも最小化されない）を解消する。この手法は、有効な発散としての性質を保つために、エントロピー正則化に補正項を組み合わせており、84のデータセットにおける時系列分類および平均化の実験で、DTW や soft-DTW に比べて顕著な精度向上を示している。

ABSTRACT

Computing the discrepancy between time series of variable sizes is notoriously challenging. While dynamic time warping (DTW) is popularly used for this purpose, it is not differentiable everywhere and is known to lead to bad local optima when used as a "loss". Soft-DTW addresses these issues, but it is not a positive definite divergence: due to the bias introduced by entropic regularization, it can be negative and it is not minimized when the time series are equal. We propose in this paper a new divergence, dubbed soft-DTW divergence, which aims to correct these issues. We study its properties; in particular, under conditions on the ground cost, we show that it is a valid divergence: it is non-negative and minimized if and only if the two time series are equal. We also propose a new "sharp" variant by further removing entropic bias. We showcase our divergences on time series averaging and demonstrate significant accuracy improvements compared to both DTW and soft-DTW on 84 time series classification datasets.

研究の動機と目的

• soft-DTW に起因するエントロピーバイアスの影響により、負の値を取り得たり、同一時系列でも最小化されないという、soft-DTW の限界を是正すること。
• 非負で、時系列が完全に一致する場合にのみ厳密に最小化される新たな発散、soft-DTW 発散を提案すること。
• エントロピーバイアスをさらに低減する「シャープ」なバージョンを考案し、アライメントの正確性を向上させること。
• DTW や soft-DTW に比べ、時系列分類、平均化、補間タスクにおいて優れた性能を示すことを実証すること。

提案手法

• soft-DTW の修正版として、非負性と正確な等価時最小化を保証するバイアス補正項を組み込んだ soft-DTW 発散を提案する。
• DTW の min 演算をソフト最小化に置き換えるためにエントロピー正則化を用い、微分可能でありながら動的計画法の効率性を維持する。
• すべてのアライメントにおける修正されたソフト最小化として発散を導出し、標準的な soft-DTW に見られるエントロピーバイアスを除去する補正項を含む。
• 正則化パラメータをさらに小さくすることで、エントロピーバイアスを低減しつつ微分可能で計算効率の高い「シャープ」なバージョンを導入する。
• 動的計画法を用いて、DTW や soft-DTW と同様に O(mn) 時間で発散を計算する。
• 時系列分類、平均化、補間のエンドツーエンド学習パイプラインに発散を適用する。

実験結果

リサーチクエスチョン

• RQ1 エントロピー正則化の影響により、soft-DTW が負の値を取り得る理由や、同一時系列でも最小化されないバイアスの原因を特定し、そのバイアスを補正できる微分可能な発散を構築できるか？
• RQ2 エントロピー正則化が soft-DTW にどのようなバイアスをもたらし、それが等価時最小化を妨げるのか。このバイアスを補正可能か？
• RQ3 提案された soft-DTW 発散は、時系列分類および平均化タスクにおいて、DTW や soft-DTW を上回る性能を示すか？
• RQ4 発散の「シャープ」なバージョンは、エントロピーバイアスをさらに低減しつつ、微分可能性と計算効率を維持できるか？

主な発見

• 地盤コストにやや緩い条件下でも、soft-DTW 発散は非負であり、2つの時系列が等しい場合にのみ最小化される。
• 「シャープ」なバージョンはエントロピーバイアスをさらに低減し、アライメントの正確性を向上させる。
• 84の時系列分類データセットにおいて、提案された発散は DTW や soft-DTW に比べて顕著に高い精度を達成した。
• soft-DTW 発散を用いた時系列平均化は、DTW や soft-DTW を用いた場合よりも優れた結果を示し、クラスタリングおよび表現学習の向上を実証した。
• O(mn) の計算複雑度を維持しており、ディープラーニングパイプラインでの効率的利用が可能である。
• 実験結果は、UWaveGestureLibrary、HandOutlines、SyntheticControl を含む多様なデータセットで一貫した向上を示した。