[논문 리뷰] Scale-Aware Neural Architecture Search for Multivariate Time Series Forecasting

Donghui Chen, Ling Chen외 4명|arXiv (Cornell University)|2021. 12. 14.

Time Series Analysis and Forecasting인용 수 5

한 줄 요약

이 논문은 다변량 시계열 예측을 위한 스케일 인식 신경망 아키텍처 탐색 프레임워크인 SNAS4MTF를 제안한다. 이 프레임워크는 시계열을 다중 스케일 하위 시리즈로 분해하고, 적응형 그래프 학습을 통해 각 스케일에서 고유한 변수 간 상관관계를 탐지한다. 이 방법은 다중 스케일 분해, 동적 상관관계 모델링, 신경망 아키텍처 탐색을 종합적으로 최적화하여 실제 데이터셋에서 최신 기술 수준의 성능을 달성하며, 다양한 시나리오에 걸쳐 향상된 일반화 능력을 보인다.

ABSTRACT

Multivariate time series (MTS) forecasting has attracted much attention in many intelligent applications. It is not a trivial task, as we need to consider both intra-variable dependencies and inter-variable dependencies. However, existing works are designed for specific scenarios, and require much domain knowledge and expert efforts, which is difficult to transfer between different scenarios. In this paper, we propose a scale-aware neural architecture search framework for MTS forecasting (SNAS4MTF). A multi-scale decomposition module transforms raw time series into multi-scale sub-series, which can preserve multi-scale temporal patterns. An adaptive graph learning module infers the different inter-variable dependencies under different time scales without any prior knowledge. For MTS forecasting, a search space is designed to capture both intra-variable dependencies and inter-variable dependencies at each time scale. The multi-scale decomposition, adaptive graph learning, and neural architecture search modules are jointly learned in an end-to-end framework. Extensive experiments on two real-world datasets demonstrate that SNAS4MTF achieves a promising performance compared with the state-of-the-art methods.

연구 동기 및 목표

• 다변량 시계열(MTS) 예측을 위한 이식 가능하고 시나리오에 특화된 신경망 아키텍처 설계의 과제를 해결하기 위해.
• 다양한 시간 스케일에서 내부 변수 간 및 외부 변수 간 상관관계를 효과적으로 모델링하기 위해.
• 수작업으로 설계된 아키텍처나 도메인 특화 사전 지식에 의존하지 않고, 신경망 아키텍처 탐색을 통해 아키텍처 탐색을 자동화하기 위해.
• 다중 스케일 시간 동적 특성과 스케일별로 특화된 변수 간 관계를 반영하는 탐색 공간을 개발하기 위해.
• 분해, 상관관계 모델링, 아키텍처 탐색을 종합적으로 최적화하는 엔드 투 엔드 학습을 통해 예측 정확도를 향상시키기 위해.

제안 방법

• 다중 스케일 분해 모듈은 원시 MTS를 다양한 시간 스케일에서 하위 시리즈로 분할하여 스케일별 패턴을 유지한다.
• 적응형 그래프 학습 모듈은 사전 지식이나 고정된 인접 행렬 없이도 각 시간 스케일에서 변수 간 상관관계를 동적으로 추론한다.
• 각 스케일에서 내부 및 외부 변수 간 상관관계를 모델링하기 위한 최적의 연산을 선택할 수 있도록 맞춤형 탐색 공간을 설계한다.
• 스케일 간 엔드 투 엔드로 신경망 아키텍처 탐색을 수행하며, 분해, 그래프 학습, 아키텍처 선택을 종합적으로 최적화한다.
• 각 스케일에 대해 다양한 연산 풀(예: 컨볼루션, 어텐션, GCN)을 사용하고, 탐색을 통해 최적의 조합을 선별한다.
• 차별 가능한 탐색 전략을 사용하여 엔드 투 엔드로 학습함으로써 효율적인 아키텍처 탐색을 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처 탐색 프레임워크는 다변량 시계열에서 스케일별로 특화된 변수 간 상관관계를 효과적으로 학습할 수 있는가?
• RQ2 다중 스케일 분해는 MTS 예측에서 시간 패턴 모델링을 어떻게 향상시키는가?
• RQ3 적응형 그래프 학습은 동적 변수 간 관계를 포괄하는 데 있어 고정 또는 사전 정의된 인접 행렬을 대체할 수 있는가?
• RQ4 분해, 그래프 학습, 아키텍처 탐색의 엔드 투 엔드 종합 최적화는 수작업 또는 고정 아키텍처 모델보다 더 뛰어난 성능을 낼 수 있는가?
• RQ5 다양한 데이터셋 간 탐색 결과는 어떻게 달라지며, 이는 스케일별로 특화된 상관관계에 대해 무엇을 드러내는가?

주요 결과

• SNAS4MTF는 METR-LA 및 PEMS-BAY 데이터셋에서 모두 최신 기술 수준의 성능을 달성하여, 모든 예측 수준에서 MAE, MAPE, RMSE 모두에서 기존 최신 기술 수준의 방법을 능가한다.
• METR-LA에서 SNAS4MTF는 15분 예측 MAE 2.68, 30분 예측 MAE 3.03, 60분 예측 MAE 3.43을 기록하며, 기준 모델보다 낮은 오차를 보였다.
• PEMS-BAY에서 SNAS4MTF는 15분 예측 MAE 1.30, 30분 예측 MAE 1.61, 60분 예측 MAE 1.89를 기록하여 강력한 일반화 능력을 입증했다.
• 절단 실험 결과, 어텐션 또는 컨볼루션 모듈을 제거할 경우 성능 저하가 발생하여, 탐색된 아키텍처에서 이들의 중요성을 확인했다.
• 사례 연구 결과, 탐색된 아키텍처는 스케일과 데이터셋에 따라 크게 다름을 확인했다. 예를 들어, PEMS-BAY는 GCN 연산을 선호하는 반면, METR-LA는 더 많은 0 연산을 사용함을 시사하며 스케일 인식 적응의 중요성을 입증했다.
• 하이퍼파rameter 분석 결과, 은닉 차원 32 및 노드 임bedding 차원 20에서 최적의 성능을 기록했으며, 높은 값에서는 과적합 현상이 발생했다.