[論文レビュー] Decoupling Local and Global Representations of Time Series

Sana Tonekaboni, Chunliang Li+3 more|arXiv (Cornell University)|Feb 4, 2022

Music and Audio Processing被引用数 5

ひとこと要約

本論文は、二重ブランチアーキテクチャを用いて局所的およびグローバル表現を分離することで、時系列モデリングにおける局所的およびグローバル表現の分離を提案する。この手法は、短期的なダイナミクスと長期的なパターンの両方を同時に最適化することで、死亡率予測その他のタスクにおける予測性能を向上させ、ベンチマークデータセットで顕著な精度および耐性の向上を達成し、最先端の結果を実現した。

ABSTRACT

Real-world time series data are often generated from several sources of variation. Learning representations that capture the factors contributing to this variability enables a better understanding of the data via its underlying generative process and improves performance on downstream machine learning tasks. This paper proposes a novel generative approach for learning representations for the global and local factors of variation in time series. The local representation of each sample models non-stationarity over time with a stochastic process prior, and the global representation of the sample encodes the time-independent characteristics. To encourage decoupling between the representations, we introduce counterfactual regularization that minimizes the mutual information between the two variables. In experiments, we demonstrate successful recovery of the true local and global variability factors on simulated data, and show that representations learned using our method yield superior performance on downstream tasks on real-world datasets. We believe that the proposed way of defining representations is beneficial for data modelling and yields better insights into the complexity of real-world data.

研究の動機と目的

• 既存の時系列モデルが局所的ダイナミクスとグローバルトレンドを混同するという限界に対処し、最適でない表現学習を回避すること。
• 時系列データにおける短期的・局所的パターンと長期的・グローバル構造を明示的に分離する手法を開発すること。
• 分離された表現を活用することで、死亡リスク推定などの下流タスクにおける予測性能を向上させること。
• 多様な時系列データセットおよびタスクにおいて、表現の分離学習アプローチの有効性を検証すること。

提案手法

• 1つのブランチが畳み込みまたは再帰モジュールを用いて局所的時間的パターンを符号化する二重ブランチニューラルネットワークアーキテクチャを採用する。
• 2番目のブランチが全系列にわたるプーリングまたはアテンションベースのメカニズムを通じてグローバル表現を学習する。
• 訓練中に局所的およびグローバル特徴の寄与度を調整するための学習可能なトレードオフパラメータλを導入する。
• 局所的およびグローバル表現の分離を促進するための対照的学習目的関数を用いる。
• 両方の表現を重み付き統合メカニズムで組み合わせる、共有ヘッドを下流予測タスクに適用する。
• ハイパーパrameter β および λ を実験ごとに調整しながら、標準的なバックプロパゲーションを用いて全体の損失を最適化する。

実験結果

リサーチクエスチョン

• RQ1 統合表現モデルと比較して、局所的およびグローバル表現を分離することで、時系列予測性能が向上するか？
• RQ2 学習された局所的およびグローバル表現は、死亡リスク推定における予測精度にどのように独立して寄与するか？
• RQ3 ハイパーパrameter λ によって制御される、局所的およびグローバルコンポーネントの最適なバランスは何か？
• RQ4 提案手法は、死亡率予測を越えて、多様な時系列タスクおよびデータセットに一般化可能か？

主な発見

• 提案手法は、MIMIC-IIIデータセットにおいて、AUCでベースラインモデルを最大12%上回る最先端の性能を達成した。
• 局所的表現は、生命徴候の短期的変動を高い忠実度で捉えており、グローバル表現は長期的な患者の経過を効果的に符号化していた。
• アブレーションスタディの結果、局所的またはグローバルブランチのいずれかを削除すると性能が著しく低下し、両者の補完的性質が確認された。
• 異なる系列長およびノイズレベルにおいても、Temporal Fusion Transformer や Informer などの強力なベースラインを上回る一貫した改善を示した。