[논문 리뷰] Topological Attention for Time Series Forecasting

Sebastian Zeng, Florian Gräf외 2명|arXiv (Cornell University)|2021. 07. 19.

Topological and Geometric Data Analysis참고 문헌 34인용 수 15

한 줄 요약

이 논문은 시간 시리즈의 슬라이딩 윈도우에서 휘발성 호모로지를 통해 추출한 국소 위상적 특징을 기반으로, 미분 가능한 어텐션 기반 기법을 활용해 신경 예측 모델에 통합하는 위상적 어텐션(topological attention)을 제안한다. N-BEATS와 조합했을 때 M4 벤치마크에서 최신 기준 성능을 달성하여, M4 우승자 대비 sMAPE를 0.4% 향상시키고 OWA를 1.2% 향상시켰다.

ABSTRACT

The problem of (point) forecasting $ extit{univariate} $ time series is considered. Most approaches, ranging from traditional statistical methods to recent learning-based techniques with neural networks, directly operate on raw time series observations. As an extension, we study whether $ extit{local topological properties}$, as captured via persistent homology, can serve as a reliable signal that provides complementary information for learning to forecast. To this end, we propose $ extit{topological attention}$, which allows attending to local topological features within a time horizon of historical data. Our approach easily integrates into existing end-to-end trainable forecasting models, such as $ exttt{N-BEATS}$, and in combination with the latter exhibits state-of-the-art performance on the large-scale M4 benchmark dataset of 100,000 diverse time series from different domains. Ablation experiments, as well as a comparison to a broad range of forecasting methods in a setting where only a single time series is available for training, corroborate the beneficial nature of including local topological information through an attention mechanism.

연구 동기 및 목표

• 휘발성 호모로지로부터 유도된 국소 위상적 특징이 시간 시리즈 예측에 보완적인 신호로 기능할 수 있는지 조사하기 위해.
• 예측 모델이 이전 시간 시리즈 세그먼트의 국소 위상 패턴에 주의를 기울일 수 있도록, 기울기 전파가 가능한 어텐션 기반 기법을 개발하기 위해.
• 대규모(M4 벤치마크) 및 저자료(단일 시간 시리즈) 환경에서 위상적 어텐션의 효과성을 평가하기 위해.
• 위상적 특징이 어텐션 기반 방식으로 통합되었을 때, 기존의 표준 신경망 모델을 초월해 예측 성능을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 시간 시리즈는 이전 데이터에 대해 길이 $ n = loor{0.7 imes T} $ 의 겹치는 윈도우를 슬라이딩하는 방식으로 처리된다.
• 각 윈도우에 대해 시간 지연 임bedding과 비에토리스-립스 휘발성 호모로지 기반으로 영구성 바코드(persistence barcode)가 계산된다.
• 학습 가능한, 기울기 전파가 가능한 맵 $ V_ heta $ 를 통해 바코드가 $ bR^e $ 로 벡터화되어 기울기 흐름이 가능해진다.
• 이 벡터화된 위상적 특징은 위치 인코딩이 적용된 트랜스포머 인코더 레이어를 통해 다중 헤드 자기 어텐션 메커니즘에 입력된다.
• 어텐션 모듈의 출력은 다층 퍼셉트론(MLP)을 통해 투영되어 컨텍스트 벡터 $ bv o bR^T $ 를 생성하며, 이는 입력 시간 시리즈와 예측 모델에서 융합된다.
• 전체 아키텍처는 엔드 투 엔드로 훈련 가능하며, N-BEATS와 같은 모델에 원활하게 통합되며, 아키텍처의 대대적인 수정 없이도 작동한다.

실험 결과

연구 질문

• RQ1 짧은 시간 윈도우에서 휘발성 호모로지로 추출한 국소 위상적 특징이 시간 시리즈 예측에 의미 있고 보완적인 신호로 기능할 수 있는가?
• RQ2 기울기 전파가 가능한 어텐션 기반 기법을 통해 이러한 국소 위상적 특징에 주의를 기울일 경우, 기존의 표준 신경망 예측 모델 대비 정확도가 향상되는가?
• RQ3 단일 시간 시리즈만을 이용해 훈련하는 저자료 환경에서 위상적 어텐션은 어떻게 성능을 발휘하는가?
• RQ4 예측 모델에 통합되었을 때, 위상적 특징과 어텐션 기반 기법 중 어느 것이 더 중요한 기여를 하는가?

주요 결과

• M4 벤치마크에서 위상적 어텐션은 N-BEATS 기준으로 OWA에서 0.4%의 상대적 향상을 달성하여 예측 성능을 향상시켰다.
• M4 경쟁 대회 우승자 대비 sMAPE는 0.4% 향상되고 OWA는 1.2% 향상되어 10만 개의 시간 시리즈로 구성된 벤치마크에서 최신 기준 성능을 확보했다.
• 절단 실험에서 위상적 특징이나 어텐션 기반 기법을 별도로 추가했을 경우 성능 향상이 없었으며, 두 요소의 조합이 성능 향상의 핵심임을 입증했다.
• 특히 대규모 서브그룹(예: 23,000개의 연간 및 48,000개의 월간 시리즈)에서 뛰어난 성능을 보여, 다양한 시간 시리즈 영역에 걸쳐 강건함을 입증했다.
• 위상적 특징 계산에 대한 계산 오버헤드가 극히 적음에도 불구하고, 이 방법은 대규모 예측 작업에 효과적으로 스케일링된다.
• N-BEATS에 위상적 어텐션을 통합했을 때, M4의 모든 서브그룹에서 일관된 성능 향상이 관찰되었으며, OWA에서 통계적으로 유의미한 향상이 있었다.