[論文レビュー] metricDTW: local distance metric learning in Dynamic Time Warping

Jiaping Zhao, Zerong Xi+1 more|arXiv (Cornell University)|Jun 11, 2016

Time Series Analysis and Forecasting参考文献 18被引用数 3

ひとこと要約

この論文では、時系列分類のためのDTWベースのk近傍法分類を向上させるために、記述子クラスタ内およびクラスタ間で複数の局所的マハラノビス距離メトリックを学習するmetricDTWを提案する。標準のユークリッド距離をDTWアラインメント経路に沿って学習されたマハラノビス距離に置き換えることで、70個のUCR時系列データセットにおいて最先端の性能を達成し、p値 < 1.1×10⁻⁴ の有意差を示して1NN-DTWを著しく上回る。

ABSTRACT

We propose to learn multiple local Mahalanobis distance metrics to perform k-nearest neighbor (kNN) classification of temporal sequences. Temporal sequences are first aligned by dynamic time warping (DTW); given the alignment path, similarity between two sequences is measured by the DTW distance, which is computed as the accumulated distance between matched temporal point pairs along the alignment path. Traditionally, Euclidean metric is used for distance computation between matched pairs, which ignores the data regularities and might not be optimal for applications at hand. Here we propose to learn multiple Mahalanobis metrics, such that DTW distance becomes the sum of Mahalanobis distances. We adapt the large margin nearest neighbor (LMNN) framework to our case, and formulate multiple metric learning as a linear programming problem. Extensive sequence classification results show that our proposed multiple metrics learning approach is effective, insensitive to the preceding alignment qualities, and reaches the state-of-the-art performances on UCR time series datasets.

研究の動機と目的

• 標準のユークリッド距離を超えるデータの正規性を捉える距離メトリックを学習することで、時系列のkNN分類を向上させること。
• DTWで使用される一様なグローバル距離メトリックの限界を是正すること。これは、局所的なデータ構造を反映しない可能性があるため。
• 記述子のクラスタリングを介して部分列パターンに適応する、DTW内での局所的メトリック学習フレームワークを構築すること。
• DTWベースの1NN分類で学習されたメトリックを用いて、UCR時系列ベンチマークデータセットで最先端の性能を達成すること。
• 事前のDTWアラインメントの品質に依存しないメトリック学習の頑健性を実証し、実世界の応用に実用的であることを示すこと。

提案手法

• 標準のDTWを用いた時系列アラインメントによりアラインメント経路を取得し、それを固定入力として扱う。
• 各時系列の各点は、局所的な構造的文脈を捉える記述子（例：原始的部分列、HOG-1D、勾配）で表現される。
• k-meansを用いて記述子をkグループにクラスタリングし、各クラスタ内および全クラスタペア間で別個のマハラノビス距離メトリックを学習する。
• メトリック学習は、大マージン近傍（LMNN）フレームワークに基づく線形計画問題として定式化され、異なるクラス間のマージンを最大化するように最適化される。
• DTW距離は、アラインメント経路に沿った学習済みマハラノビス距離の和に再定義され、標準のユークリッド距離に置き換えられる。
• アラインメント後に適用されるため、アラインメント品質に依存せず、任意の既存のDTWアラインメント手法と互換性がある。

実験結果

リサーチクエスチョン

• RQ1 複数の局所的マハラノビス距離メトリックを学習することで、DTWベースの時系列分類におけるkNN分類性能を向上させることができるか？
• RQ2 提案手法のメトリック学習は、事前のDTWアラインメントの品質に対してどれほど感受的か？
• RQ3 局所的記述子とクラスタ固有のメトリックを用いることで、多様な時系列データセット全体で一貫した性能向上が得られるか？
• RQ4 提案手法は、ユークリッド距離と標準DTWアラインメントを使用する標準1NN-DTW分類器を上回ることができるか？
• RQ5 記述子クラスタ数などのハイパーパrameter（例：クラスタ数）は、最終的な分類精度にどのように影響するか？

主な発見

• 提案されたmetricDTW手法は、70個のUCR時系列データセットで最先端の性能を達成し、p値が1.1×10⁻⁴（メトリック学習あり）および1.8×10⁻⁵（メトリックなし）の有意差を示して、標準の1NN-DTWベースラインを著しく上回った。
• 原始的部分列、HOG-1D、勾配の3つの記述子すべてにおいて分類精度が向上し、符号順位ウィルコクソン検定により統計的に有意な向上（すべてp < 0.05）が確認された。
• 事前のDTWアラインメントの品質が異なる場合（アラインメント誤差で測定）でも、その後のメトリック学習は一貫して1NN性能を向上させた。これは、アラインメント誤差に対して頑健であることを示している。
• 記述子クラスタ数（k ∈ {5,10,15,20,25,30}）は性能に顕著な正の影響を及ぼし、すべてのk値がユークリッドベースラインに対して統計的に有意な向上（p < 0.05）を示した。
• 使用する記述子にかかわらず、一貫した顕著な性能向上が得られた。これは、局所的メトリック学習アプローチの一般化可能性を示している。
• 反復的かつ一括してアラインメントとメトリック学習を最適化する手法は性能を低下させた。これは、現在の定式化において、アラインメントとメトリック学習を分離することが好ましいことを示唆している。