[논문 리뷰] Graph-based Time Series Clustering for End-to-End Hierarchical Forecasting

Andrea Cini, Danilo P. Mandic외 1명|arXiv (Cornell University)|2023. 05. 30.

Time Series Analysis and Forecasting인용 수 4

한 줄 요약

이 논문은 종단간 시간 시리즈 예측을 위한 그래프 기반 딥러닝 프레임워크인 계층적 그래프 예측기(HiGP)를 제안한다. HiGP는 계층적 및 상관관계 기반의 인덕티브 바이어스를 통합하여 데이터로부터 직접 클러스터링 할당을 학습하고, 미분 가능한 재조정 레이어를 통해 예측의 일관성을 강제함으로써 벤치마크 데이터셋에서 최고의 예측 정확도를 달성한다.

ABSTRACT

Relationships among time series can be exploited as inductive biases in learning effective forecasting models. In hierarchical time series, relationships among subsets of sequences induce hard constraints (hierarchical inductive biases) on the predicted values. In this paper, we propose a graph-based methodology to unify relational and hierarchical inductive biases in the context of deep learning for time series forecasting. In particular, we model both types of relationships as dependencies in a pyramidal graph structure, with each pyramidal layer corresponding to a level of the hierarchy. By exploiting modern - trainable - graph pooling operators we show that the hierarchical structure, if not available as a prior, can be learned directly from data, thus obtaining cluster assignments aligned with the forecasting objective. A differentiable reconciliation stage is incorporated into the processing architecture, allowing hierarchical constraints to act both as an architectural bias as well as a regularization element for predictions. Simulation results on representative datasets show that the proposed method compares favorably against the state of the art.

연구 동기 및 목표

• 시간 시리즈 예측을 위한 딥러닝에서 상관관계 및 계층적 인덕티브 바이어스를 통합하는 것.
• 사전 정의된 계층이 아닌, 그래프 풀링을 사용하여 데이터로부터 직접 계층적 클러스터 할당을 학습하는 것.
• 미분 가능한 재조정 레이어를 통해 계층적 제약 조건을 아키텍처적 바이어스와 정규화로 통합하는 것.
• 다중 수준 계층적 시간 시리즈 벤치마크에서 최고의 예측 성능을 달성하는 것.
• 실제 데이터셋에서 의미 있는, 예측 최적화된 클러스터를 자율학습하는 방법을 보여주는 것.

제안 방법

• 정적 속성 그래프 구조를 구성하기 위해 시간 시리즈 관계를 가중치가 부여된 인접 행렬로 모델링하는 것.
• 계층 수준을 그래프의 피라미드형 레이어로 표현하며, 각 레이어가 집계 수준에 해당하는 것.
• 학습 가능한 그래프 풀링 연산자를 적용하여 종단간 노드 클러스터링 및 계층적 표현을 학습하는 것.
• 다양한 계층 수준 간 예측의 일관성을 강제하는 미분 가능한 재조정 레이어 통합.
• 클러스터 할당과 예측 정확도를 동시에 최적화하기 위해 다중 수준 예측 손실 사용.
• 학습 목표를 그래프 구조에 의해 정규화된 각 계층 수준에서의 예측 오차 최소화로 설정하는 것.

실험 결과

연구 질문

• RQ1 그래프 신경망을 사용하여 사전 정의된 계층이 아닌 데이터로부터 종단간 계층적 제약 조건을 학습할 수 있는가?
• RQ2 상관관계 기반 인덕티브 바이어스와 계층적 인덕티브 바이어스를 결합하면 예측 성능에 어떤 영향을 미치는가?
• RQ3 그래프 풀링 연산자가 예측 목표에 부합하는 의미 있는 클러스터 할당을 효과적으로 학습할 수 있는가?
• RQ4 미분 가능한 재조정이 계층적 예측에서 정확도 향상에 어느 정도 기여하는가?
• RQ5 제안된 프레임워크는 의미 있는 시간 시리즈 클러스터를 자율학습하는 데 사용될 수 있는가?

주요 결과

• HiGP는 METR-LA 및 PEMS-BAY 데이터셋에서 DCRNN 및 GWNet과 같은 전용 모델을 능가하는 최고 수준의 예측 정확도를 달성한다.
• METR-LA에서 HiGP (T)는 MAE@15가 2.68 ± 0.01을 기록하여 두 번째로 우수한 모델인 SGP(2.69 ± 0.00)를 능가한다.
• PEMS-BAY에서 HiGP (T)는 MAE@15가 1.31 ± 0.00을 기록하여 최고 성능을 보인 베이스라인 SGP와 동일한 성능을 달성한다.
• CER-E 및 AQI 데이터셋에서 HiGP는 의미 있는 계층적 클러스터 할당을 학습하며, 각 수준에서 고유한 시간 역학을 보이는 클러스터를 생성한다.
• 예측 오차를 최소화하는 종단간 학습을 통해 클러스터 할당이 최적화되어, 예측이 더 쉬운 집합을 생성한다.
• 미분 가능한 재조정 레이어는 계층 수준 간 예측의 일관성을 보장하며, 정규화 역할을 한다.