[論文レビュー] A Generalised Signature Method for Multivariate Time Series Feature Extraction

James Morrill, Adeline Fermanian+2 more|arXiv (Cornell University)|Jun 1, 2020

Time Series Analysis and Forecasting参考文献 62被引用数 10

ひとこと要約

本稿では、多変量時系列特徴抽出のための一般化されたシグネチャ手法を提案し、既存の変種を1つのフレームワークに統合し、アグメンテーション、ウインドウ、変換、リスケーリングといった設定可能なコンponentsを備える。26のデータセットにおける実証的評価を通じて、最先端のモデル（深層ネットワークを含む）と比較して競争力のある性能を達成する標準的なパイプラインを確立し、広範なアクセスを可能にするために実装をオープンソース化している。

ABSTRACT

The 'signature method' refers to a collection of feature extraction techniques for multivariate time series, derived from the theory of controlled differential equations. There is a great deal of flexibility as to how this method can be applied. On the one hand, this flexibility allows the method to be tailored to specific problems, but on the other hand, can make precise application challenging. This paper makes two contributions. First, the variations on the signature method are unified into a general approach, the \emph{generalised signature method}, of which previous variations are special cases. A primary aim of this unifying framework is to make the signature method more accessible to any machine learning practitioner, whereas it is now mostly used by specialists. Second, and within this framework, we derive a canonical collection of choices that provide a domain-agnostic starting point. We derive these choices as a result of an extensive empirical study on 26 datasets and go on to show competitive performance against current benchmarks for multivariate time series classification. Finally, to ease practical application, we make our techniques available as part of the open-source [redacted] project.

研究の動機と目的

• 多変数時系列特徴抽出のための、シグネチャ手法の多様な変種を1つの整合的なフレームワークに統合すること。
• 時系列分類の強力でドメインに依存しない出発点として機能する、ハイパーパrameter選択の標準セットを特定すること。
• 26の多様なデータセットを通じて、シグネチャ手法の各コンponentが与える影響を実証的に評価し、実用的応用を支援すること。
• 提案された標準パイプラインが、深層学習アーキテクチャを含む最先端の分類器と比較して、競争力のある性能を達成することを示すこと。
• [redacted]プロジェクトに実装をオープンソース化することで、シグネチャ手法のアクセシビリティを向上させること。

提案手法

• 一般化されたシグネチャ手法は、アグメンテーション（例：タイムワープ）、ウインドウ（例：スライディングウインドウ）、変換（例：対数シグネチャ）、リスケーリング（例：正規化）といった設定可能なコンponentsとして、既存のシグネチャ変種を形式化することで統合する。
• このフレームワークにより、コンponentsの体系的な組み合わせが可能となり、ルフパス理論からの理論的保証を維持したまま、新たな設定を可能にする。
• 標準パイプラインは、26のデータセットにわたる広範なハイパーパrameterアブレーションを通じて、最も影響力のあるコンponentsを同定することで導出され、主に深さ、ウインドウ化、変換選択に焦点を当てる。
• 多変数時系列をR^d内のパスとして扱い、指定された深さまで反復積分を計算することで、特徴ベクトルを生成する。
• 冗長性を低減し、特に長いシーケンスにおいて安定性を向上させるために、対数シグネチャ変種が使用される。
• 最終的なモデルは、シグネチャ特徴量上で訓練されたランダムフォレスト分類器であり、最適なパフォーマンスを得るために各データセットごとにハイパーパrameterを調整する。

実験結果

リサーチクエスチョン

• RQ1 多様なデータセットにおいて、分類精度に最も顕著な影響を与えるシグネチャ手法のコンponents（例：深さ、ウインドウ化、変換）は何か？
• RQ2 すべての既知のシグネチャ手法の変種を包含する統一フレームワークを構築可能か？ これにより、体系的な探索と拡張が可能になるか？
• RQ3 複数の時系列分類タスクに一般化可能な強力なパフォーマンスを発揮する、シグネチャハイパーパrameterの最適な設定は何か？
• RQ4 標準ベンチマークデータセット上で、標準パイプラインの性能は、深層学習アーキテクチャを含む最先端のモデルと比較してどうか？
• RQ5 特にデータ量が少ない状況下でも、モデルのファインチューニングなしに、シグネチャ手法が競争力のある結果を達成できる範囲はどの程度か？

主な発見

• 標準シグネチャパイプラインは、26のUEAデータセットで平均順位4.3を達成し、HIVE-COTE や MUSE を含む大多数のベースラインを上回るか同等の性能を示した。
• 深さ2のシグネチャに対数変換とダイアディックウインドウ化を組み合わせた構成が、大多数のデータセットで優れた性能を発揮し、26のデータセットのうち12個で深さ2が平均精度で最高を記録した。
• ArticularyWordRecognitionでは97.7%、PenDigitsでは97.4%、NATOPSでは92.2%の精度を達成し、挑戦的なベンチマークでも優れた性能を示した。
• 標準パイプラインは、18/26のデータセットでDTWD、DTWA、DTWI、TapNetを上回り、それぞれ平均順位5.6、5.2、5.9、6.4を記録した。
• 一般化されたシグネチャ手法のオープンソース実装は、[redacted]パッケージで利用可能であり、機械学習研究者による実用的導入を可能にしている。
• 実証的分析の結果、深さとウインドウ戦略が最も影響力のあるハイパーパラメータであり、大多数のデータセットで深さ2または3が最適であることが判明した。