[논문 리뷰] HUTFormer: Hierarchical U-Net Transformer for Long-Term Traffic Forecasting

Zezhi Shao, Fei Wang외 8명|arXiv (Cornell University)|2023. 07. 27.

Traffic Prediction and Management TechniquesEngineering인용 수 3

한 줄 요약

HUTFormer는 장기 교통 예측을 위한 새로운 계층적 U-Net Transformer 아키텍처를 제안한다. 이는 계층적 인코더에서 창 자기주의와 세그먼트 병합을 활용해 다중 척도 표현을 추출하고, 디코더에서 다중 척도 주의를 통해 이를 통합한다. 네 개의 교통 데이터셋에서 최신 기술(SOTA) 성능을 달성하며, 1일 예측 과업에서 기존 베이스라인보다 뚜렷하게 뛰어난 성능을 보인다.

ABSTRACT

Traffic forecasting, which aims to predict traffic conditions based on historical observations, has been an enduring research topic and is widely recognized as an essential component of intelligent transportation. Recent proposals on Spatial-Temporal Graph Neural Networks~(STGNNs) have made significant progress by combining sequential models with graph convolution networks. However, due to high complexity issues, STGNNs only focus on short-term traffic forecasting (e.g., 1-h ahead), while ignoring more practical long-term forecasting. In this paper, we make the first attempt to explore long-term traffic forecasting (e.g., 1-day ahead). To this end, we first reveal its unique challenges in exploiting multi-scale representations. Then, we propose a novel Hierarchical U-Net TransFormer~(HUTFormer) to address the issues of long-term traffic forecasting. HUTFormer consists of a hierarchical encoder and decoder to jointly generate and utilize multi-scale representations of traffic data. Specifically, for the encoder, we {\color{black}propose} window self-attention and segment merging to extract multi-scale representations from long-term traffic data. For the decoder, we design a cross-scale attention mechanism to effectively incorporate multi-scale representations. In addition, HUTFormer employs an efficient input embedding strategy to address the complexity issues. Extensive experiments on four traffic datasets show that the proposed HUTFormer significantly outperforms state-of-the-art traffic forecasting and long time series forecasting baselines.

연구 동기 및 목표

• 지능형 교통 시스템에서 실용적 중요성이 높지만 여전히 탐색이 부족한 장기 교통 예측(예: 1일 예측) 문제를 해결하기 위해.
• 장기 교통 시계열 내에서 세밀한 국소적 변화와 거시적 전반적 패턴을 동시에 활용하는 데서 발생하는 고유한 과제를 규명하기 위해.
• 기존 공간-시간 그래프 신경망(STGNN)의 높은 복잡도를 피하기 위해 그래프 컨볼루션에 의존하지 않고도 다중 척도 표현을 효율적으로 생성하고 활용할 수 있는 모델을 설계하기 위해.
• 표준 컴퓨터 비전에서 사용되는 U-Net 또는 FPN 설계와 달리, 입력 및 출력 시퀀스가 정렬되지 않은 경우에도 지원할 수 있는 트랜스포머 기반 아키텍처를 개발하기 위해.
• 효율적인 입력 임bedding 전략을 통해 장기 예측의 높은 정확도를 확보하면서도 계산 복잡도를 유지하기 위해.

제안 방법

• 계층적 인코더는 고정 크기의 시간 창 내에서 국소적 의존성을 포착하기 위해 창 자기주의를 사용하여 장기 시계열의 스케일러블 모델링을 가능하게 한다.
• 세그먼트 병합 기법을 적용해 인접한 창들을 점진적으로 더 큰 세그먼트로 통합함으로써 다중 척도 표현을 포착하는 계층적 구조를 형성한다.
• 디코더는 계층의 다양한 수준에서의 특징을 동적으로 통합하기 위해 다중 척도 주의를 활용하여 전반적 맥락과 국소적 세부 정보를 융합할 수 있도록 한다.
• 효율적인 입력 임베딩 전략은 세그먼트 임베딩과 공간-시간 위치 인코딩(ST-PE)을 결합하여 그래프 컨볼루션의 제곱 복잡도를 피한다.
• ST-PE는 공간 위치, 일일 시간 슬롯(1일 288개), 요일(7개)에 대해 학습 가능한 임베딩을 사용하여 그래프 구조를 명시적으로 제공하지 않아도 주기적 패턴을 포착할 수 있도록 한다.
• 입력 및 출력 시퀀스가 픽셀 정렬되지 않은 경우에도 처리할 수 있도록 설계되어, 입력과 출력이 정렬되지 않은 장기 예측에 적합하다.

실험 결과

연구 질문

• RQ1 그래프 컨볼루션이나 고정 수신장 주의에 의존하지 않고도 장기 교통 시계열에서 다중 척도 표현을 효과적으로 생성할 수 있는 방법은 무엇인가?
• RQ2 어떤 아키텍처 설계가 낮은 계산 복잡도를 유지하면서도 효율적이고 정확한 장기 교통 예측(예: 1일)을 가능하게 하는가?
• RQ3 다양한 추상화 수준에서 유도된 다중 척도 특징을 디코딩 과정에서 효과적으로 융합하여 전반적 추세와 국소적 이질성을 동시에 예측할 수 있는가?
• RQ4 제안된 HUTFormer가 실제 세계 데이터셋에서 기존 최신 기술(SOTA) 모델보다 장기 교통 예측에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 계층적 설계와 세그먼트 기반 처리를 갖춘 트랜스포머 기반 아키텍처가 표준 트랜스포머나 STGNN보다 장기 예측 다변량 시계열 예측에서 더 높은 성능을 달성할 수 있는가?

주요 결과

• HUTFormer는 Graph WaveNet과 Autoformer를 포함한 최신 기술 모델들을 네 개의 실제 교통 데이터셋에서 모두 뛰어넘으며, 돌연한 교통 변화를 포착하는 데 특히 뛰어난 성능을 보였다.
• 제거 실험 결과 계층적 설계와 다중 척도 주의가 필수적임을 확인하였으며, 계층 구조가 제거된 HUTFormer는 전체 모델보다 성능이 열 劣하다.
• 위치 인코딩의 시각화 결과에서 공간 센서들이 명확한 군집을 이루고 있으며 강한 일일 주기성이 관찰되어, 모델이 의미 있는 공간-시간 패턴을 학습할 수 있음을 검증하였다.
• 모델은 대규모 특징를 통해 일일 주기성을 효과적으로 포착하고 세밀한 특징를 통해 급격한 정체 변화를 잘 포착함으로써 다중 척도 능력을 입증하였다.
• 하이퍼파라미터 연구 결과 창 크기 및 세그먼트 병합 설정에 대해 뛰어난 내구성을 보였으며, 특정 설정에서 최적의 성능을 달성하였다.
• 세그먼트 임베딩과 ST-PE의 사용은 그래프 컨볼루션 기반 모델 대비 계산 복잡도를 감소시켜 장기 시계열에 대한 확장성을 보장하였다.