[論文レビュー] Similarity Learning for Time Series Classification

Maria-Irina Nicolae, Éric Gaussier+2 more|arXiv (Cornell University)|Oct 15, 2016

Time Series Analysis and Forecasting参考文献 23被引用数 3

ひとこと要約

本稿では、動的時系列適合（DTW）に基づく類似度学習の新規手法を提案する。$(\epsilon,\gamma,\tau)$-良い類似度フレームワークを活用し、分類性能を向上させるマハラノビス型距離を学習する。一様安定性を用いた理論的一般化境界を初めて提示し、得られる線形分類器のロバスト性とスパarsityを保証する。UCIデータセットを用いた実験で検証された。

ABSTRACT

Multivariate time series naturally exist in many fields, like energy, bioinformatics, signal processing, and finance. Most of these applications need to be able to compare these structured data. In this context, dynamic time warping (DTW) is probably the most common comparison measure. However, not much research effort has been put into improving it by learning. In this paper, we propose a novel method for learning similarities based on DTW, in order to improve time series classification. Making use of the uniform stability framework, we provide the first theoretical guarantees in the form of a generalization bound for linear classification. The experimental study shows that the proposed approach is efficient, while yielding sparse classifiers.

研究の動機と目的

• 時系列分類における距離学習に理論的保証が欠如している問題に対処すること、特にDTWを用いる場合に焦点を当てる。
• 特徴量の意味的性質やスケールの違いを考慮した多変量時系列のための類似度関数を学習する手法を開発すること。
• 一様安定性理論を用いて、学習された距離関数および分類器の一般化境界を提供すること。
• 得られる分類器が、実世界の時系列応用に適したスパースかつ効率的なものであることを保証すること。

提案手法

• 本手法は、DTWに基づく類似度関数をパrameter化するマハラノビス行列 $\mathbf{M}$ を学習する。これにより、特徴量の重み付けと相関の学習が可能となる。
• $(\epsilon,\gamma,\tau)$-良い類似度フレームワークを用いて、正しく時系列ペアを分類するよう促進する損失関数を定義する。
• 正則化付き経験的リスク最小化アプローチを用いて最適化を実施し、$\mathbf{M}$ に対して $\ell_2$-正則化を適用することで、安定性とスパarsityを促進する。
• 単一の学習例を置き換えた際の学習済み行列 $\mathbf{M}$ の変化をバウンディングすることで、一様安定性を証明し、一般化境界を導出する。
• 理論的分析により、損失関数が $k$-リプシッツ的であり、アルゴリズムが一様安定的であることが示され、そのバウンディングは $\kappa/m$ に比例する。ここで $\kappa = \frac{4d}{\gamma^2\lambda}$ である。
• 最終的な分類器は、学習された類似度によって誘導される変換された特徴空間において線形であるため、効率的な推論が可能となる。

実験結果

リサーチクエスチョン

• RQ1 標準的なDTWを上回る分類性能を達成するような、時系列のための類似度関数を学習可能か？
• RQ2 提案されたDTW用の距離学習アプローチは、時系列分類における理論的一般化保証を提供するか？
• RQ3 学習された類似度行列は、得られる線形分類器のスパarsityと解釈可能性にどのように影響を与えるか？
• RQ4 異種の特徴スケールと意味的差異を有する多変量時系列を処理できるか？
• RQ5 正則化パrameter $\lambda$ は、学習された距離の安定性と性能にどのような影響を及えるか？

主な発見

• 提案手法は、複数のUCI時系列分類ベンチマークで最先端の性能を達成し、標準的なDTWや他の距離学習ベースラインを上回った。
• 理論的分析により、学習アルゴリズムの一様安定性が確立され、一般化境界 $\mathcal{O}(\kappa/m)$ を得た。ここで $\kappa = \frac{4d}{\gamma^2\lambda}$ である。
• 学習された距離関数は、$\ell_2$ 正則化による自然な特徴量のプルーニングにより、スパースな分類器をもたらす。
• DTWを基本的なアライメント機構として用いるため、時系列長、位相、サンプリング周波数の変動に対してロバストである。
• 実験結果から、学習された類似度関数は、ユークリッド距離や重みなしDTWと比較して、分類精度を顕著に向上させた。
• 本手法は、時系列分類における類似度学習の分野で、理論的一般化保証を初めて提供した。これは、文献における重要な空白を埋めた。