[論文レビュー] Time Series Alignment with Global Invariances

Titouan Vayer, Romain Tavenard+4 more|arXiv (Cornell University)|Feb 10, 2020

Time Series Analysis and Forecasting参考文献 45被引用数 5

ひとこと要約

本稿では、動的時系列割当（DTW）を用いた時系列の整合化と特徴空間変換を統合的に最適化することで、多次元時系列における時系列的および特徴的不変性を扱う、新たな類似性測定法であるDTW-GIを提案する。本手法は、新しい幾何構造下での微分可能損失関数とバリセントラ計算を導入し、カバー曲識別および人間の運動予測のタスクで最先端の性能を達成した。これは、時系列の歪みと特徴空間における剛体変換を同時に最適化可能であることを示している。

ABSTRACT

Multivariate time series are ubiquitous objects in signal processing. Measuring a distance or similarity between two such objects is of prime interest in a variety of applications, including machine learning, but can be very difficult as soon as the temporal dynamics and the representation of the time series, {\em i.e.} the nature of the observed quantities, differ from one another. In this work, we propose a novel distance accounting both feature space and temporal variabilities by learning a latent global transformation of the feature space together with a temporal alignment, cast as a joint optimization problem. The versatility of our framework allows for several variants depending on the invariance class at stake. Among other contributions, we define a differentiable loss for time series and present two algorithms for the computation of time series barycenters under this new geometry. We illustrate the interest of our approach on both simulated and real world data and show the robustness of our approach compared to state-of-the-art methods.

研究の動機と目的

• 時間の歪みやセンサの順序入れ替えといったグローバル不変性に起因する、時系列のダイナミクスや特徴空間表現の違いを有する多次元時系列を比較する課題に対処すること。
• 時系列の整合化と特徴空間変換を統合的に最適化する統一された類似性測定法を開発し、時系列データの分布シフトに対してより頑健な性能を向上させること。
• 新しい幾何的枠組み下で、異種時系列のバリセントラ計算を可能とし、クラスタリングや予測といった下流タスクを支援すること。
• 変換クラスに関する事前知識（例：音楽におけるキーのトランスポジション）を制約付き最適化によって統合することで、手法の汎用性を示すこと。

提案手法

• 本手法は、時系列整合化を、時系列の整合化（DTW や softDTW を用いて）と、特徴空間におけるグローバル変換（例：Stiefel多様体上の回転）の両者を同時に最適化する統合最適化問題として定式化する。
• 勾配ベースの最適化手法を用いて、両方の整合化パラメータと変換パラメータをエンドツーエンドで最適化可能な微分可能損失関数を導入する。
• 直交変換（例：回転、順列）を含むさまざまな不変性クラスをサポートし、変換族に関する事前知識を用いた制約付き最適化を可能にする。
• DTW-GI幾何構造下での時系列バリセントラ計算のための2つのアルゴリズムを提案し、異種時系列におけるクラスタリングおよび表現学習を可能にする。
• 離散的変換集合（例：音楽における12半音トランスポジション）を扱うには、すべての候補を全検索し、最適なものを選択する方法を採用する。
• CTW や GromovDTW などの既存手法を拡張し、変換マップを明示的に学習することで、下流タスクへの再利用性を高め、ディープラーニングパイプラインへの統合性を向上させる。

Figure 1: DTW-GI aligns time series by optimizing on temporal alignment $\pi$ (through Dynamic Time Warping) and feature space transformation $f$ ( e.g. here in the Stiefel manifold $\mathbb{V}_{2,3}$ ). In the figure $\pi^{*},f^{*}$ denote the solutions of the optimization problem DTW-GI. Time seri

実験結果

リサーチクエスチョン

• RQ1 グローバル不変性の下で、時系列の整合化と特徴空間変換を統合的に最適化する統一フレームワークは、時系列類似性測定の性能向上に寄与できるか？
• RQ2 提案手法による時系列歪みと特徴変換の統合的最適化は、異種表現を持つ実世界の時系列データを処理する際、最先端手法と比較してどのように優れているか？
• RQ3 音楽におけるキーのトランスポジションなどの変換クラスに関する事前知識を、整合化プロセスにどの程度統合できるか？性能向上に寄与するか？
• RQ4 提案された幾何構造は、異種時系列に対して意味的なバリセントラを計算可能か？クラスタリングや表現学習の応用を可能にするか？
• RQ5 DTW-GIの微分可能定式化は、表現学習や模倣学習などのディープラーニングモデルへの統合をどの程度可能にするか？

主な発見

• Stiefel多様体上の特徴空間最適化を用いた場合、カバー曲識別タスクにおいてMR1が29.0 ± 1.0を達成し、整合化と変換を統合的に最適化しないベースラインを上回った。
• 12種類の可能なキーのトランスポジションに関する事前知識を統合したことで、平均特徴上でトランスポジションを計算するベースラインと比較して顕著な性能向上を達成した。これは、統合的最適化の有効性を示している。
• 模擬データおよび実世界のデータセットの両方で、CTW や他の最先端手法を上回り、特徴空間における回転や時系列シフトに対して頑健であることが示された。
• DTW-GI幾何構造下でのバリセントラ計算は、著者らの知る限り、異種時系列に対する最初の定式化であり、クラスタリングや表現学習の新しい応用を可能にした。
• softDTW-GI は微分可能な整合化と変換を可能とし、将来の研究で三重損失（triplet loss）学習との互換性を示したように、ディープラーニングモデルにおける損失関数や特徴抽出器としての応用可能性を示唆している。

Figure 2: Example alignments between 2D time series (trajectories in the plane). Color coding corresponds to timestamps. Our DTW-GI method jointly estimates temporal alignment and global rotation between time series. On the contrary, standard DTW alignment fails at capturing feature space distortion