[論文レビュー] Invariant Factorization Of Time-Series

Josif Grabocka, Lars Schmidt-Thieme|arXiv (Cornell University)|Dec 23, 2013

Time Series Analysis and Forecasting参考文献 16被引用数 9

ひとこと要約

本稿では、制約付き最適化と確率的座標降下法を用いて、時間系列を潜在的パターンとセグメントごとのメンバーシップ重みに分解する、新しい時系列分類手法である不変因子分解（INFA）を提案する。この手法は、複数のスライディングウィンドウサイズにおけるパターン周波数の合計に基づいて、時間系列を新たな特徴空間に射影し、43個のUCRデータセットにおいて最先端の精度を達成し、6つの最先端手法と比較して統計的に有意な向上を示した。

ABSTRACT

Time-series classification is an important domain of machine learning and a plethora of methods have been developed for the task. In comparison to existing approaches, this study presents a novel method which decomposes a time-series dataset into latent patterns and membership weights of local segments to those patterns. The process is formalized as a constrained objective function and a tailored stochastic coordinate descent optimization is applied. The time-series are projected to a new feature representation consisting of the sums of the membership weights, which captures frequencies of local patterns. Features from various sliding window sizes are concatenated in order to encapsulate the interaction of patterns from different sizes. Finally, a large-scale experimental comparison against 6 state of the art baselines and 43 real life datasets is conducted. The proposed method outperforms all the baselines with statistically significant margins in terms of prediction accuracy.

研究の動機と目的

• 時間系列データにおけるクラス内変動、例えば時間的シフト、歪み、スケーリングといった課題に対処すること。これは、SVMのような従来の分類器が困難に直面する要因である。
• 異なるスケールやアラインメントに強く、局所的パターン周波数を効果的に捉える表現を構築すること。
• 時間系列の因子分解を、潜在的パターンとセグメントメンバーシップを学習する制約付き最適化問題として形式化すること。
• 複数のスライディングウィンドウサイズからのパターン周波数特徴を連結することで、分類精度を向上させること。
• UCR時系列ベンチマークコレクションにおいて最先端の性能を達成すること。

提案手法

• 本手法は、スライディングウィンドウを用いて時間系列を重複する局所的セグメントに分割する。
• 各セグメントを、潜在的パターンの重み付き組み合わせに因子分解し、重みは各パターンへのメンバーシップ度を表す。
• 因子分解は、パターンの正規化を保証するためのチホノフ正則化を含む制約付き最適化問題として定式化される。
• 目的関数を最適化するために、特化した確率的座標降下アルゴリズムが用いられ、パターン再構成と正則化のバランスが取られる。
• 最終的な特徴表現は、各パターンごとのメンバーシップ重みの合計として形成され、系列全体における各潜在的パターンの頻度を捉える。
• 複数のウィンドウサイズが使用され、それらの周波数特徴が連結されて、マルチスケールパターン相互作用をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 潜在的パターンとセグメントメンバーシップを学習する因子分解ベースのアプローチは、既存手法と比較して時系列分類精度を向上させることができるか？
• RQ2 提案手法は、時系列データにおける時間的シフト、歪み、スケーリングに対し、どのように対処するか？
• RQ3 複数のスライディングウィンドウサイズを用いることで、マルチスケールパターン相互作用をどれほど効果的に捉えることができるか？
• RQ4 パターン周波数に基づく提案特徴表現は、従来の距離尺度やBag-of-Patternsアプローチを上回る性能を示すか？
• RQ5 提案手法は、多様な実世界の時系列データセットにおいて、6つの最先端手法と比較して統計的に優れているか？

主な発見

• INFAは43個のUCRデータセットにおいて、19.37勝を記録し、2番目に良い手法の9.00勝を顕著に上回った。
• すべての6つのベースラインと比較して、ウィルコクソン符号順位検定においてp値 ≤ 0.05の有意な改善を示した。
• INFAはUCR時系列ベンチマークコレクションにおいて、最高の公表済み予測精度を達成し、新たな最先端性能を樹立した。
• 複数のスライディングウィンドウサイズの使用と、それらの特徴の連結が、マルチスケールパターン相互作用を捉え、性能向上に不可欠であった。
• 調整されたハイパーパrameter（K=10% of Q、δ=20% of L）を用いることで、大規模データセットにおいても性能劣化を伴わず、スケーラビリティを維持した。