[논문 리뷰] seq2graph: Discovering Dynamic Dependencies from Multivariate Time Series with Multi-level Attention

Xuan-Hong Dang, Syed Yousaf Shah외 1명|arXiv (Cornell University)|2018. 12. 07.

Time Series Analysis and Forecasting참고 문헌 29인용 수 7

한 줄 요약

이 논문은 다변량 시계열에서 시간에 따라 변화하는 비선형적이고 상호의존적인 관계를 다중 수준의 어텐션과 이중 목적의 게이트형 순환 단위(Gated Recurrent Units, GRUs)를 사용하여 탐지하는 딥러닝 모델인 seq2graph를 제안한다. 뒤따르는 의존성 탐지와 상호 시리즈 간 의존성 그래프 학습을 종단 간(end-to-end)으로 공동으로 학습함으로써, 합성 및 실세계 데이터셋(클라우드 모니터링 및 제조 센서 데이터 포함)에서 정확하고 해석 가능한 의존성 그래프를 생성하며, 뛰어난 예측 성능을 달성한다.

ABSTRACT

Discovering temporal lagged and inter-dependencies in multivariate time series data is an important task. However, in many real-world applications, such as commercial cloud management, manufacturing predictive maintenance, and portfolios performance analysis, such dependencies can be non-linear and time-variant, which makes it more challenging to extract such dependencies through traditional methods such as Granger causality or clustering. In this work, we present a novel deep learning model that uses multiple layers of customized gated recurrent units (GRUs) for discovering both time lagged behaviors as well as inter-timeseries dependencies in the form of directed weighted graphs. We introduce a key component of Dual-purpose recurrent neural network that decodes information in the temporal domain to discover lagged dependencies within each time series, and encodes them into a set of vectors which, collected from all component time series, form the informative inputs to discover inter-dependencies. Though the discovery of two types of dependencies are separated at different hierarchical levels, they are tightly connected and jointly trained in an end-to-end manner. With this joint training, learning of one type of dependency immediately impacts the learning of the other one, leading to overall accurate dependencies discovery. We empirically test our model on synthetic time series data in which the exact form of (non-linear) dependencies is known. We also evaluate its performance on two real-world applications, (i) performance monitoring data from a commercial cloud provider, which exhibit highly dynamic, non-linear, and volatile behavior and, (ii) sensor data from a manufacturing plant. We further show how our approach is able to capture these dependency behaviors via intuitive and interpretable dependency graphs and use them to generate highly accurate forecasts.

연구 동기 및 목표

• 기존 방법(예: 그란저 인과성)이 포착하지 못하는 시간에 따라 변화하는 비선형적 의존성을 탐지하는 데 도전하는 것.
• 개별 시계열 내 시간 지연 의존성과 추론 도중 상호 시리즈 간 의존성을 동시에 학습할 수 있는 딥러닝 모델을 개발하는 것.
• 클라우드 서비스 및 제조 공장과 같은 실제 시스템에서 변화하는 관계를 반영하는 해석 가능한 동적 의존성 그래프를 제공하는 것.
• 통합된 종단 간 학습 가능한 아키텍처를 통해 탐지된 의존성을 활용하여 예측 정확도를 향상시키는 것.

제안 방법

• 모델은 각 시계열 내에서 시간 지연 의존성을 추출하기 위해 시간 정보를 디코딩하는 이중 목적의 GRU 구성 요소를 사용한다.
• 모든 시계열의 은닉 표현이 집계되어 고차원 계층에서 상호의존성 탐지에 대한 입력 벡터를 형성한다.
• 다중 수준 어텐션 메커니즘이 모델이 동시에 관련된 과거 시점과 상호 시리즈 간 관계에 집중할 수 있도록 한다.
• 직렬 데이터 내 장기적 비선형 의존성을 캡처하기 위해 맞춤형 GRU의 다중 레이어를 활용한다.
• 전체 네트워크는 종단 간 학습되며, 시간 지연 및 상호 시리즈 간 의존성 학습의 공동 최적화를 가능하게 한다.
• 출력은 시계열 간의 동적 관계를 시각화하는 방향성 있고 가중치가 부여된 의존성 그래프이다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 기존 방법(예: 그란저 인과성)이 놓치는 비선형적이고 시간에 따라 변화하는 다변량 시계열의 의존성을 탐지할 수 있는가?
• RQ2 통합된 프레임워크 내에서 개별 시계열 내 시간 지연 의존성과 상호 시리즈 간 의존성을 동시에 학습할 수 있는가?
• RQ3 종단 간 공동 학습이 변동성이 큰 실세계 시계열에서 의존성 탐지 및 예측 정확도를 어느 정도 향상시키는가?
• RQ4 모델은 클라우드 서비스 모니터링와 같은 시스템 행동의 동적 변화를 반영하는 해석 가능한 의존성 그래프를 생성할 수 있는가?

주요 결과

• 클라우드 서비스 데이터에서 seq2graph는 pkg-rx 가 cpu-util과 mem-util의 강력한 예측자임을 확인했으며, 그란저 인과성 검정에서 매우 낮은 p-값(p < 1e-120)으로 뒷받침되었다.
• RNN-vanilla 및 RNN-residual에 비해 seq2graph는 특히 클라우드 데이터셋의 핵심 시계열(예: mem-util, cpu-util)에서 예측 정확도가 뛰어나게 성과를 냈다.
• seq2graph는 변동성이 큰 기간(예: 시간 지점 208에서 214 사이) 동안의 동적 의존성 이동을 성공적으로 포착했으며, 이는 정적 모델이 놓쳤던 부분이었다.
• 제거 실험 결과, 시간 지연 또는 상호 의존성 구성 요소를 생략할 경우 성능 저하가 발생하여 공동 학습의 필요성을 확인했다.
• 모델은 전력 관련 지표(예: PowerSPHTI, VoltHTI)가 지연된 영향을 미치며, 영향력이 최신 시간 지점 이후에도 지속됨을 드러냈다.
• seq2graph가 생성한 의존성 그래프는 시스템 행동의 이해를 돕는 직관적이고 해석 가능한 통찰을 제공하여, 복잡한 시스템에서 인과 관계의 조기 탐지가 가능했다.