[論文レビュー] Optimal Warping Paths are unique for almost every Pair of Time Series

Brijnesh J. Jain, David Schultz|arXiv (Cornell University)|May 16, 2017

Time Series Analysis and Forecasting参考文献 17被引用数 5

ひとこと要約

本稿は、二乗誤差局所コストのもとで、動的時系列整合（DTW）における最適ワーピングパスが、時系列ペアの空間においてほとんど至る所で一意であることを証明している。測度論的解析を用いて、非一意性が発生するのは測度ゼロの集合でのみであることを示しており、これはほとんどすべての時系列ペアにおいて一意な最適パスが存在することを意味し、DTWに基づく手法における堅牢な学習と最適化を可能にする。

ABSTRACT

Update rules for learning in dynamic time warping spaces are based on optimal warping paths between parameter and input time series. In general, optimal warping paths are not unique resulting in adverse effects in theory and practice. Under the assumption of squared error local costs, we show that no two warping paths have identical costs almost everywhere in a measure-theoretic sense. Two direct consequences of this result are: (i) optimal warping paths are unique almost everywhere, and (ii) the set of all pairs of time series with multiple equal-cost warping paths coincides with the union of exponentially many zero sets of quadratic forms. One implication of the proposed results is that typical distance-based cost functions such as the k-means objective are differentiable almost everywhere and can be minimized by subgradient methods.

研究の動機と目的

• 動的時系列整合（DTW）空間における最適ワーピングパスの非一意性が引き起こす理論的・実用的課題を解消すること。
• 時系列ペア間の最適ワーピングパスにおける非一意性の広がりを調査すること。
• 学習アルゴリズムの文脈において、最適ワーピングパスが保証されて一意となる条件を確立すること。
• k-means や学習ベクトル量子化などのDTWベースの学習手法における微分可能性と部分勾配最適化の理論的基盤を提供すること。
• 成分別解析と積空間測度を用いて、多変量時系列への一意性結果の一般化を図ること。

提案手法

• 測度論的解析を用いて、非一意性が発生するのは測度ゼロの集合として「ほとんど至る所」を定義する。
• 2つのワーピングパス間のコスト差を二次形式 $ C_i(x,y) - C_j(x,y) = z^T A^{(ij)} z $ としてモデル化し、ここで $ z = (x,y) $ であり、この差がゼロとなるのは測度ゼロの集合でのみであることを示す。
• 複数の等コストワーピングパスをもつ時系列ペアの集合が、指数関数的に多数の二次形式のゼロ集合の和集合であることを証明する。各集合は測度ゼロである。
• 区分的滑らか関数の結果を応用し、最小コスト関数 $ \delta_x(y) = \min_p C_p(x,y) $ がほとんど至る所で区分的滑らかで微分可能であることを示す。
• 多変量時系列への拡張を、各多変量系列を成分ごとの単変量系列に分解し、同じコスト式を成分別に適用することで行う。
• 線形埋め込み $ \Phi_d $ と $ \Psi_d $ を用いて歪んだ時系列を表現し、DTWコストが埋め込み系列の二乗ユークリッドノルムに等しいことを示す：$ C_p(x,y) = \| \Phi_d(x) - \Psi_d(y) \|^2 $。

実験結果

リサーチクエスチョン

• RQ1 DTWにおける最適ワーピングパスが一意となる条件は何か？
• RQ2 時系列ペアの空間全体において、最適ワーピングパスの非一意性はどれほど広がっているか？
• RQ3 複数の等コストワーピングパスをもつ時系列ペアの集合は、測度論的に特徴づけられるか？
• RQ4 二乗誤差局所コストを用いた場合、最適ワーピングパスの一致性はほとんど至る所で成立するか？
• RQ5 DTWの多変量拡張は、最適ワーピングパスの一意性をどのように保っているか？

主な発見

• 二乗誤差局所コストを用いる場合、時系列ペアの空間において最適ワーピングパスはほとんど至る所で一意である。
• 非一意な最適ワーピングパスをもつ時系列ペアの集合は測度ゼロであり、指数関数的に多数の二次形式のゼロ集合の和集合と一致する。
• 最小コスト関数 $ \delta_x(y) = \min_p C_p(x,y) $ はほとんど至る所で区分的滑らかで微分可能であり、部分勾配に基づく最適化が可能である。
• k-means や学習ベクトル量子化などの距離に基づく学習目的関数は、DTW空間においてほとんど至る所で微分可能であり、堅牢な最適化を可能にする。
• 多変量DTWの拡張は、積空間測度を用いた成分別一般化により、一意性の性質を保っている。
• 理論的基盤により、DTWベースの学習における勾配ベースの手法の使用が支持される。非微分可能点は測度的に無視できる。