[論文レビュー] TodyNet: Temporal Dynamic Graph Neural Network for Multivariate Time Series Classification

Huaiyuan Liu, Xianzhang Liu+5 more|arXiv (Cornell University)|Apr 11, 2023

Time Series Analysis and Forecasting被引用数 4

ひとこと要約

TodyNet は、学習可能な時変グラフ構造と階層的時系列グラフプーリング機構を用いて、隠れた空間時系列的依存関係を捉える、多変量時系列分類のための新しい時系列動的グラフニューラルネットワークである。TodyNet は、エンドツーエンドフレームワーク内で動的グラフ構築、グラフメッセージスティン、時系列畳み込みを共同で学習することで、26個のUEAベンチマークデータセットにおいて最先端の手法を上回る性能を達成している。

ABSTRACT

Multivariate time series classification (MTSC) is an important data mining task, which can be effectively solved by popular deep learning technology. Unfortunately, the existing deep learning-based methods neglect the hidden dependencies in different dimensions and also rarely consider the unique dynamic features of time series, which lack sufficient feature extraction capability to obtain satisfactory classification accuracy. To address this problem, we propose a novel temporal dynamic graph neural network (TodyNet) that can extract hidden spatio-temporal dependencies without undefined graph structure. It enables information flow among isolated but implicit interdependent variables and captures the associations between different time slots by dynamic graph mechanism, which further improves the classification performance of the model. Meanwhile, the hierarchical representations of graphs cannot be learned due to the limitation of GNNs. Thus, we also design a temporal graph pooling layer to obtain a global graph-level representation for graph learning with learnable temporal parameters. The dynamic graph, graph information propagation, and temporal convolution are jointly learned in an end-to-end framework. The experiments on 26 UEA benchmark datasets illustrate that the proposed TodyNet outperforms existing deep learning-based methods in the MTSC tasks.

研究の動機と目的

• 多変量時系列における隠れた変数間依存関係を捉えることに、従来のディーパーニューラルネットワークモデルの限界を解決すること。
• 従来のGNNで一般的な静的グラフ仮定を克服し、時間とともに変化する動的グラフ機構を導入することで、時間的変化に応じた依存関係をモデル化すること。
• 階層的グラフレベルの抽象化を可能にする学習可能な時系列グラフプーリング層を設計することで、グローバル表現学習を強化すること。
• 時系列畳み込み、動的グラフ学習、グラフメッセージスティンを共同で最適化するエンドツーエンドフレームワークを構築し、分類性能を向上させること。

提案手法

• TodyNet は、各時刻ごとに変数間のアテンションベースの類似度計算を用いて動的グラフを構築し、時間的変化に応じた依存関係の適応的モデリングを可能にする。
• 可学習パラメータを有するグラフニューラルネットワークを用いて、動的に構築されたグラフ上のノード（変数）間を情報伝達させ、時系列的および空間的相関を捉える。
• ノード表現を階層的に集約する新しい時系列グラフプーリング層を導入し、分類のためのグローバルなグラフレベル表現を生成する。
• グラフベースの特徴学習の前段階として、局所的な時系列パターンを抽出するための時系列畳み込みネットワークを統合し、マルチスケール表現学習を可能にする。
• 時系列畳み込み、動的グラフ構築、グラフ伝搬、時系列プーリングのすべてのコンポーネントが、共有パラメータを用いてエンドツーエンドで訓練される。
• グラフ構造は事前に定義されるのではなく、データから動的に学習されるため、変数間の内在的関係が時間経過とともに適応的にモデル化可能である。

実験結果

リサーチクエスチョン

• RQ1 時間の経過に伴い変化する変数間の依存関係を捉えることで、動的グラフ機構が多変量時系列分類性能を向上させられるか？
• RQ2 静的グラフや手作業で作成されたグラフと比較して、動的グラフ構築とメッセージスティンのエンドツーエンド学習が分類精度に与える影響はいかほどか？
• RQ3 時系列グラフプーリングは、多変量時系列分類におけるグローバル表現学習をどの程度向上させるか？
• RQ4 時系列畳み込みを動的グラフ学習と統合することで、単独のCNNやRNNベースのモデルと比較して、より優れた特徴抽出が達成できるか？

主な発見

• TodyNet は26個のUEAベンチマークデータセットのうち25個で最先端の性能を達成し、多様な多変量時系列タスクにおいて優れた分類精度を示している。
• アブレーションスタディの結果、動的グラフ、グラフプーリング、グラフメッセージスティンの各コンポーネントが性能向上に顕著に寄与しており、特に動的グラフが精度向上の主因であることが確認された。
• 動的グラフ機構は、孤立しているが相互に依存する変数間の情報伝達を可能にすることで、静的グラフベースラインを上回る性能を発揮した。
• t-SNE可視化の結果、TodyNet は判別性が高く、クラス固有の表現を学習しており、同じクラスに属するサンプルが埋め込み空間上で密にクラスタリングされていることが示された。
• ヒートマップ分析により、学習された埋め込みがクラス間で顕著に異なることが確認され、効果的なクラス分離が達成されていることが示された。
• 時系列グラフプーリング層により、グラフレベル特徴の階層的抽象化が可能となり、モデルの汎化性能が向上した。