[論文レビュー] Random Warping Series: A Random Features Method for Time-Series Embedding

Lingfei Wu, Ian En-Hsu Yen+4 more|arXiv (Cornell University)|Sep 14, 2018

Time Series Analysis and Forecasting参考文献 2被引用数 31

ひとこと要約

本稿では、動的時系列割当（DTW）を用いてランダムな系列との間で変換することで、明示的なベクトル埋め込みに時間系列を変換する、ランダム特徴量手法であるランダムワーピングシリーズ（RWS）を提案する。これにより、計算量が低減され、スケーラブルなカーネルベースの学習が可能になる。RWSは、サンプル数および系列長に関して計算量を二次から一次に削減することで、従来のDTWベースの手法に比べて、最大で桁数の違いに達する高速化を達成し、最先端の精度を実現する。

ABSTRACT

Time series data analytics has been a problem of substantial interests for decades, and Dynamic Time Warping (DTW) has been the most widely adopted technique to measure dissimilarity between time series. A number of global-alignment kernels have since been proposed in the spirit of DTW to extend its use to kernel-based estimation method such as support vector machine. However, those kernels suffer from diagonal dominance of the Gram matrix and a quadratic complexity w.r.t. the sample size. In this work, we study a family of alignment-aware positive definite (p.d.) kernels, with its feature embedding given by a distribution of \\emph{Random Warping Series (RWS)}. The proposed kernel does not suffer from the issue of diagonal dominance while naturally enjoys a \\emph{Random Features} (RF) approximation, which reduces the computational complexity of existing DTW-based techniques from quadratic to linear in terms of both the number and the length of time-series. We also study the convergence of the RF approximation for the domain of time series of unbounded length. Our extensive experiments on 16 benchmark datasets demonstrate that RWS outperforms or matches state-of-the-art classification and clustering methods in both accuracy and computational time. Our code and data is available at { \\url{https://github.com/IBM/RandomWarpingSeries}}.

研究の動機と目的

• 時間系列学習におけるDTWベースのグローバルアラインメントカーネルの高い計算量と対角優位性の問題に対処すること。
• 効率的なランダム特徴量近似を可能にする時間系列用の正定値カーネルの開発。
• 大規模な時間系列分類およびクラスタリングにおいて、線形時間計算を実現しながら、精度を維持または向上させること。
• ランダム特徴量理論を、長さが有界でない時間系列に対しても適用可能にする拡張。
• DTWを超える柔軟なエラスティック距離測度をサポートできる、スケーラブルで並列処理可能なフレームワークの提供。

提案手法

• 入力時間系列とランダムワーピング系列の分布との間のDTWを計算することで、正定値カーネルの族を構築する。
• R個のランダムワーピング系列を用いたランダム特徴量近似により、カーネル計算を線形化し、計算量をO(N²L²)からO(NRL)に削減する。
• 特徴量マップは、各時間系列と、指定された分布p(ω)から独立に抽出されたR個のランダム系列との間のDTW値として定義される。
• ε精度で正確なカーネルに一様収束するためには、R = Ω(1/ε²)個のランダム系列で十分であることが示された。
• このフレームワークは拡張可能であり、CID や DTDC などの他のエラスティック距離測度にも適応可能である。
• この手法は完全に並列処理可能であり、SVM や K-means クラスタリングなどの標準的なカーネル法とも互換性がある。

実験結果

リサーチクエスチョン

• RQ1 DTWベースのカーネルのランダム特徴量近似は、時間系列学習において、高い精度と線形計算量の両方を達成できるか？
• RQ2 提案されたRWS手法は、グローバルアラインメントカーネルに内在する対角優位性問題を緩和できるか？
• RQ3 長さが有界でない時間系列に対しても、ランダム特徴量近似は正確なカーネルに一様収束するか？
• RQ4 RWSは、時間系列分類およびクラスタリングの最先端手法と比較して、精度と実行時間の両面で優れているか？
• RQ5 RWSフレームワークは、調整可能なランクRを用いて、精度と計算効率のトレードオフを実現できるか？

主な発見

• RWSは、分類およびクラスタリング精度の両面で、16のベンチマークデータセットにおいて一貫して最先端の手法を上回るか、同等の性能を達成する。
• 小さなランクRを用いたRWS(SR)は、1NN-DTW や 1NN-DTW opt と同等または優れた精度を達成しながら、著しく高速である。
• 大きなランクを用いたRWS(LR)は、16のデータセットのうち11つでDTWF や TGAK を上回る優れた精度を達成し、1〜2桁の速度向上を実現する。
• RWSは計算量をO(N²L²)からO(NRL)、メモリ使用量をO(NL + N²)からO(NR)に削減し、大規模データセットへのスケーラビリティを実現する。
• クラスタリングにおいてRWSはKMeans-DTW や CLDS を精度と実行時間の両面で上回り、8つのデータセットにおいてK-Shapeと比較して5勝1分け2敗を記録し、より高い効率性を示す。
• 理論的分析により、R = Ω(1/ε²)個のランダム系列で十分であり、長さが有界でない時間系列に対しても、ε精度で正確なカーネルに一様収束することが保証された。