[论文解读] HUTFormer: Hierarchical U-Net Transformer for Long-Term Traffic Forecasting

Zezhi Shao, Fei Wang+8 more|arXiv (Cornell University)|Jul 27, 2023

Traffic Prediction and Management TechniquesEngineering被引用 3

一句话总结

HUTFormer 提出了一种用于长期交通预测的新型分层 U-Net 变压器架构，通过在分层编码器中使用窗口自注意力机制和分段合并技术提取多尺度表征，并在解码器中采用跨尺度注意力机制进行融合。该方法在四个交通数据集上实现了最先进性能，在 1 天预测任务中显著优于现有基线模型。

ABSTRACT

Traffic forecasting, which aims to predict traffic conditions based on historical observations, has been an enduring research topic and is widely recognized as an essential component of intelligent transportation. Recent proposals on Spatial-Temporal Graph Neural Networks~(STGNNs) have made significant progress by combining sequential models with graph convolution networks. However, due to high complexity issues, STGNNs only focus on short-term traffic forecasting (e.g., 1-h ahead), while ignoring more practical long-term forecasting. In this paper, we make the first attempt to explore long-term traffic forecasting (e.g., 1-day ahead). To this end, we first reveal its unique challenges in exploiting multi-scale representations. Then, we propose a novel Hierarchical U-Net TransFormer~(HUTFormer) to address the issues of long-term traffic forecasting. HUTFormer consists of a hierarchical encoder and decoder to jointly generate and utilize multi-scale representations of traffic data. Specifically, for the encoder, we {\color{black}propose} window self-attention and segment merging to extract multi-scale representations from long-term traffic data. For the decoder, we design a cross-scale attention mechanism to effectively incorporate multi-scale representations. In addition, HUTFormer employs an efficient input embedding strategy to address the complexity issues. Extensive experiments on four traffic datasets show that the proposed HUTFormer significantly outperforms state-of-the-art traffic forecasting and long time series forecasting baselines.

研究动机与目标

• 为解决长期交通预测（如 1 天预测）的挑战，尽管其在智能交通系统中具有实际重要性，但该问题仍研究不足。
• 识别在长期交通序列中利用多尺度表征（包括细粒度局部变化与粗粒度全局模式）的独特困难。
• 设计一种模型，无需依赖图卷积即可高效生成和利用多尺度表征，从而克服现有时空图神经网络（STGNN）的高复杂度问题。
• 开发一种基于变压器的架构，支持非对齐的输入和输出序列，与计算机视觉中常用的标准 U-Net 或 FPN 设计不同。
• 在保持计算效率的同时，通过高效的输入嵌入策略实现长期预测的高精度。

提出的方法

• 分层编码器使用窗口自注意力机制捕捉固定大小时间窗口内的局部依赖关系，实现对长序列的可扩展建模。
• 应用分段合并技术，将相邻窗口逐步合并为更大的分段，形成捕获多尺度表征的分层结构。
• 解码器采用跨尺度注意力机制，动态融合来自层次结构不同层级的特征，使模型能够融合全局上下文与局部细节。
• 采用高效的输入嵌入策略，将分段嵌入与时空位置编码（ST-PE）结合，避免图卷积带来的二次方复杂度。
• ST-PE 使用可学习嵌入表示空间位置、每日时间槽（每天 288 个）和一周中的星期（7 天），使模型能够在无显式图结构的情况下捕捉周期性模式。
• 该架构设计支持非对齐的历史序列与未来序列，适用于输入与输出序列不像素对齐的长期预测场景。

实验结果

研究问题

• RQ1 如何在不依赖图卷积或固定感受野注意力机制的前提下，从长期交通序列中有效生成多尺度表征？
• RQ2 何种架构设计能够实现在保持低计算复杂度的同时，高效且准确地进行长期交通预测（如 1 天预测）？
• RQ3 在解码过程中，如何有效融合来自不同抽象层次的多尺度特征，以提升对全局趋势和局部异常的预测能力？
• RQ4 所提出的 HUTFormer 在真实世界数据集上的长期交通预测任务中，相较于现有最先进模型，性能提升程度如何？
• RQ5 基于分层设计与基于分段处理的变压器架构，是否能在长时序多变量时间序列预测任务中，优于标准变压器或 STGNN 模型？

主要发现

• HUTFormer 在四个真实世界交通数据集上显著优于最先进交通预测模型（包括 Graph WaveNet 和 Autoformer），尤其在捕捉突发性交通变化方面表现优异。
• 消融实验表明，分层设计与跨尺度注意力机制至关重要，因为无分层结构的 HUTFormer 性能劣于完整模型。
• 位置嵌入可视化显示空间传感器呈现清晰聚类，且具有强烈的日周期性，验证了模型学习有意义时空模式的能力。
• 该模型有效捕捉了日周期性（通过大尺度特征）与快速拥堵变化（通过细粒度特征），展示了其多尺度能力。
• 超参数研究显示模型对窗口大小与分段合并配置具有鲁棒性，最优性能在特定设置下实现。
• 使用分段嵌入与 ST-PE 相较于基于图卷积的模型，显著降低了计算复杂度，使模型能够扩展至长序列。