[論文レビュー] seq2graph: Discovering Dynamic Dependencies from Multivariate Time Series with Multi-level Attention

Xuan-Hong Dang, Syed Yousaf Shah+1 more|arXiv (Cornell University)|Dec 7, 2018

Time Series Analysis and Forecasting参考文献 29被引用数 7

ひとこと要約

本稿では、マルチ変数時系列データにおける動的で非線形の時系列的および系列間の依存関係を、マルチレベルのアテンションと二重目的のゲート付き再帰ユニット（GRU）を用いて発見する深層学習モデルであるseq2graphを提案する。ラグ依存関係の検出と系列間依存関係グラフ学習をエンド・ツー・エンドで同時に学習することで、合成データおよび実世界のデータ（クラウド監視および製造センサーのデータを含む）において、正確で解釈可能な依存関係グラフと優れた予測性能を達成した。

ABSTRACT

Discovering temporal lagged and inter-dependencies in multivariate time series data is an important task. However, in many real-world applications, such as commercial cloud management, manufacturing predictive maintenance, and portfolios performance analysis, such dependencies can be non-linear and time-variant, which makes it more challenging to extract such dependencies through traditional methods such as Granger causality or clustering. In this work, we present a novel deep learning model that uses multiple layers of customized gated recurrent units (GRUs) for discovering both time lagged behaviors as well as inter-timeseries dependencies in the form of directed weighted graphs. We introduce a key component of Dual-purpose recurrent neural network that decodes information in the temporal domain to discover lagged dependencies within each time series, and encodes them into a set of vectors which, collected from all component time series, form the informative inputs to discover inter-dependencies. Though the discovery of two types of dependencies are separated at different hierarchical levels, they are tightly connected and jointly trained in an end-to-end manner. With this joint training, learning of one type of dependency immediately impacts the learning of the other one, leading to overall accurate dependencies discovery. We empirically test our model on synthetic time series data in which the exact form of (non-linear) dependencies is known. We also evaluate its performance on two real-world applications, (i) performance monitoring data from a commercial cloud provider, which exhibit highly dynamic, non-linear, and volatile behavior and, (ii) sensor data from a manufacturing plant. We further show how our approach is able to capture these dependency behaviors via intuitive and interpretable dependency graphs and use them to generate highly accurate forecasts.

研究の動機と目的

• 従来の手法（例：Granger因果）が捉えきれない、時間的に変化する非線形の依存関係を発見する課題に対処すること。
• 個々の時系列内の時間的ラグ依存関係と推論時に系列間依存関係を同時に学習できる深層学習モデルの開発。
• クラウドサービスや製造プラントなどの実世界のシステムにおける変化する関係を反映する、解釈可能な動的依存関係グラフの提供。
• 統一的でエンド・ツー・エンドで学習可能なアーキテクチャを用いて、発見された依存関係を活用することで予測精度の向上。

提案手法

• モデルは、各時系列内のラグ依存関係を抽出するために、時系列情報をデコードする二重目的のGRUコンponentを用いる。
• すべての時系列からの隠れ表現が集約され、より高い階層レベルでの系列間依存関係の発見のための入力ベクトルを形成する。
• マルチレベルのアテンション機構により、関連する歴史的時系列点と系列間関係を同時に注目できる。
• 複数層のカスタマイズされたGRUを採用することで、順序データにおける長期的で非線形の依存関係を捉える。
• ネットワーク全体がエンド・ツー・エンドで学習され、ラグ依存関係と系列間依存関係の学習を同時に最適化可能。
• 出力は、時系列間の動的関係を可視化する有向かつ重み付きの依存関係グラフである。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、Granger因果などの従来手法が捉えきれない非線形的で時間的に変化するマルチ変数時系列の依存関係を発見できるか？
• RQ2 時間的ラグ依存関係と系列間依存関係を、統一されたフレームワーク内で同時に学習する方法は何か？
• RQ3 エンド・ツー・エンドでの共同学習は、変動が激しい実世界の時系列における依存関係の発見と予測の正確性をどの程度向上させるか？
• RQ4 モデルは、クラウドサービス監視のようなシステム挙動の動的変化を反映する解釈可能な依存関係グラフを生成できるか？

主な発見

• クラウドサービスのデータでは、seq2graphはpkg-rxがcpu-utilおよびmem-utilの両方の強力な予測要因であると特定した。Granger因果性検定のp値が極めて低く（p < 1e-120）で確認された。
• seq2graphは、RNN-vanillaおよびRNN-residualを上回る予測精度を示し、特にクラウドデータセットの重要な時系列（mem-utilおよびcpu-util）において顕著であった。
• seq2graphは、変動が激しい期間（例：時系列点208から214の間）における動的依存関係のシフトを的確に捉えており、静的モデルでは捉えきれなかった。
• アブレーションスタディの結果、ラグ依存関係または系列間依存関係のいずれかのコンponentを省略すると性能が低下し、共同学習の必要性が裏付けられた。
• モデルは、電力関連の指標（例：PowerSPHTI、VoltHTI）が遅延した影響を持つことを明らかにした。その影響は最新の時系列点を越えて継続していた。
• seq2graphが生成した依存関係グラフは、システム挙動の動的変化を直感的かつ解釈可能な形で示し、複雑なシステムにおける因果関係の早期特定を可能にした。