[論文レビュー] NeuralWarp: Time-Series Similarity with Warping Networks

Josif Grabocka, Lars Schmidt-Thieme|arXiv (Cornell University)|Dec 20, 2018

Time Series Analysis and Forecasting参考文献 25被引用数 11

ひとこと要約

NeuralWarpは、潜在表現空間における学習可能なワーピング関数を用いて、柔軟なアライメントをモデル化する深層学習ベースの時系列類似度測定手法を提案する。時系列をエンコードした後、その表現をワープすることで、非パrametric手法やワープなしのシアンプソンネットワークを上回る性能を発揮し、RNNベースのエンコーダーが多様な実世界データセットにおいて優れた性能を示す。

ABSTRACT

Research on time-series similarity measures has emphasized the need for elastic methods which align the indices of pairs of time series and a plethora of non-parametric have been proposed for the task. On the other hand, deep learning approaches are dominant in closely related domains, such as learning image and text sentence similarity. In this paper, we propose extit{NeuralWarp}, a novel measure that models the alignment of time-series indices in a deep representation space, by modeling a warping function as an upper level neural network between deeply-encoded time series values. Experimental results demonstrate that extit{NeuralWarp} outperforms both non-parametric and un-warped deep models on a range of diverse real-life datasets.

研究の動機と目的

• 柔軟な非パrametric時系列類似度測定法と、インデックスのワーピングをモデル化しない深層シアンプソンアーキテクチャの間のギャップを埋める。
• 学習可能なワーピング関数を用いて、シフト、歪み、ノイズなどのクラス内変動をモデル化することで、時系列データにおける類似度学習を向上させる。
• 深層表現空間におけるエンドツーエンドのワーピング関数の訓練が、標準のシアンプソンネットワークや従来のエラスティック手法よりも性能を向上させることを示す。
• 異なるエンコーダー（CNN、RNN）とワーピング関数の効果を評価し、文脈的パターンを捉えるための類似度測定の向上を検証する。

提案手法

• 本手法は、原始的な時系列を深層潜在表現空間にマップするエンコーダーネットワーク（CNNまたはRNN）を用い、各時系列インデックスが文脈的埋め込みに対応する。
• 別個のワーピングネットワークを上位レベルのニューラルネットワークとして導入し、ペア化されたエンコード済み表現を受け取り、2つの時系列インデックスをアライメントする確率を出力する。
• ワーピング関数は、正例ペアの類似度を最大化し、負例ペアの類似度を最小化するコントラスト損失を用いてエンドツーエンドで訓練される。
• 最終的な類似度測定は、シアンプソンネットワークにおける標準のLpノルムを、学習済みワーピング確率を用いて計算されたエラスティック距離に置き換える。
• 勾配降下法（1次勾配）を用いて最適化され、エンコーダーおよびワーピングネットワークの両方のコンポonentを逆伝播で微分する。
• 本アーキテクチャは分類および類似度学習の両方をサポートし、分類タスクに直接訓練されたモデルとの性能比較を含むアブレーションスタディが実施される。

実験結果

リサーチクエスチョン

• RQ1 深層潜在空間における学習可能なワーピング関数は、非パrametricなエラスティック手法を上回る時系列類似度を実現できるか？
• RQ2 学習された表現空間でインデックスのアライメントをモデル化することで、ワープなしの標準シアンプソンネットワークよりも性能が向上するか？
• RQ3 異なるエンコーダーアーキテクチャ（CNN対RNN）は、ワーピングベースの類似度測定の性能にどのように影響を与えるか？
• RQ4 分類タスクに最適化されていないにもかかわらず、提案手法のワーピング機構は、分類タスクに直接訓練されたモデルを上回ることができるか？

主な発見

• NeuralWarpは、DTW や TWED といった強力な非パラメトリックベースラインを、多数の実世界時系列データセットで上回る性能を示した。
• RNNベースのエンコーダーは、評価されたアーキテクチャの中で一貫して最高の性能を示し、ワーピングに適した逐次的文脈を効果的に捉えていることを示している。
• ワープドRNNモデル（RNN-W）は、すべてのデータセットで分類タスクに直接訓練されたRNNを上回った。これは、分類タスクにおいてワーピング機構が追加の価値を提供していることを裏付けている。
• ワーピング関数は、深層表現と組み合わせて近隣探索分類器の精度を顕著に向上させ、類似度ベースの学習における実用性を確認した。
• 未ワープのシアンプソンネットワークと比較して、提案手法は優れた性能を達成した。これは、潜在空間におけるエラスティックアライメントのモデル化が重要であることを裏付けた。