[论文解读] Graph-based Time Series Clustering for End-to-End Hierarchical Forecasting

Andrea Cini, Danilo P. Mandic+1 more|arXiv (Cornell University)|May 30, 2023

Time Series Analysis and Forecasting被引用 4

一句话总结

本文提出分层图预测器（HiGP），一种基于图的深度学习框架，通过统一关系归纳偏置与层次归纳偏置，实现端到端的时间序列预测。通过将层次结构建模为金字塔图，并使用可学习图池化操作，HiGP 直接从数据中学习聚类分配，同时通过可微分的协调层强制预测的一致性，从而在基准数据集上实现了最先进（SOTA）的预测精度。

ABSTRACT

Relationships among time series can be exploited as inductive biases in learning effective forecasting models. In hierarchical time series, relationships among subsets of sequences induce hard constraints (hierarchical inductive biases) on the predicted values. In this paper, we propose a graph-based methodology to unify relational and hierarchical inductive biases in the context of deep learning for time series forecasting. In particular, we model both types of relationships as dependencies in a pyramidal graph structure, with each pyramidal layer corresponding to a level of the hierarchy. By exploiting modern - trainable - graph pooling operators we show that the hierarchical structure, if not available as a prior, can be learned directly from data, thus obtaining cluster assignments aligned with the forecasting objective. A differentiable reconciliation stage is incorporated into the processing architecture, allowing hierarchical constraints to act both as an architectural bias as well as a regularization element for predictions. Simulation results on representative datasets show that the proposed method compares favorably against the state of the art.

研究动机与目标

• 统一深度学习中用于时间序列预测的关系与层次归纳偏置。
• 通过图池化直接从数据中学习层次聚类分配，而无需依赖预定义的层次结构。
• 通过可微分协调层，将层次约束同时作为架构偏置和正则化手段。
• 在多层级时间序列预测基准上实现最先进（SOTA）的预测性能。
• 在真实世界数据集中，展示有意义且面向预测优化的聚类的自监督学习能力。

提出的方法

• 将时间序列关系建模为加权邻接矩阵，以构建静态的属性图结构。
• 将层次级别表示为图中的金字塔层，每一层对应一个聚合层级。
• 应用可学习的图池化算子，端到端地学习节点聚类与层次表示。
• 集成一个可微分协调层，以确保跨层次的预测一致性。
• 使用多层级预测损失，联合优化聚类分配与预测精度。
• 将学习目标表述为在每一层次最小化预测误差，同时受图拓扑结构的正则化。

实验结果

研究问题

• RQ1 是否能够通过图神经网络从数据中端到端学习层次约束，而非预先定义？
• RQ2 将关系归纳偏置与层次归纳偏置相结合，如何提升预测性能？
• RQ3 图池化算子是否能有效学习与预测目标一致的有意义聚类分配？
• RQ4 可微分协调在多层级预测中在多大程度上提升了预测精度？
• RQ5 所提出的框架能否作为自监督方法，用于学习可解释的时间序列聚类？

主要发现

• HiGP 在 METR-LA 和 PEMS-BAY 数据集上实现了最先进（SOTA）的预测精度，优于专门设计的模型如 DCRNN 和 GWNet。
• 在 METR-LA 上，HiGP (T) 的 MAE@15 为 2.68 ± 0.01，优于第二名模型 SGP（2.69 ± 0.00）。
• 在 PEMS-BAY 上，HiGP (T) 的 MAE@15 为 1.31 ± 0.00，与最佳基线模型 SGP 表现相当。
• 该模型在 CER-E 和 AQI 数据集上学习到了有意义的层次聚类分配，各层级聚类表现出不同的时间动态特性。
• 通过端到端训练最小化预测误差，聚类分配得到优化，使得聚合结果更易于预测。
• 可微分协调层确保了跨层次预测的一致性，同时起到正则化作用。