[논문 리뷰] N-BEATS: Neural basis expansion analysis for interpretable time series forecasting

Boris N. Oreshkin, Dmitri Carpov외 2명|arXiv (Cornell University)|2019. 05. 24.

Forecasting Techniques and Applications참고 문헌 39인용 수 160

한 줄 요약

단일 변수 시계열 예측을 위한 순수 딥 러닝 아키텍처를 제안하여 M3, M4, 관광 데이터집합에서 최첨단 정확도를 달성하는 동시에 구조화된 추세 및 계절성 구성요소를 통해 해석 가능한 출력을 가능하게 한다.

ABSTRACT

We focus on solving the univariate times series point forecasting problem using deep learning. We propose a deep neural architecture based on backward and forward residual links and a very deep stack of fully-connected layers. The architecture has a number of desirable properties, being interpretable, applicable without modification to a wide array of target domains, and fast to train. We test the proposed architecture on several well-known datasets, including M3, M4 and TOURISM competition datasets containing time series from diverse domains. We demonstrate state-of-the-art performance for two configurations of N-BEATS for all the datasets, improving forecast accuracy by 11% over a statistical benchmark and by 3% over last year's winner of the M4 competition, a domain-adjusted hand-crafted hybrid between neural network and statistical time series models. The first configuration of our model does not employ any time-series-specific components and its performance on heterogeneous datasets strongly suggests that, contrarily to received wisdom, deep learning primitives such as residual blocks are by themselves sufficient to solve a wide range of forecasting problems. Finally, we demonstrate how the proposed architecture can be augmented to provide outputs that are interpretable without considerable loss in accuracy.

연구 동기 및 목표

• 표준 단변량 시계열 예측 벤치마크에서 순수 딥 러닝 아키텍처가 고전적 통계 방법보다 우수할 수 있음을 입증한다.
• 시계열 특화 피처 엔지니어링이나 입력 스케일링 없이도 모델이 작동할 수 있음을 보인다.
• 해석 가능한 버전의 아키텍처를 개발하여 추세(trend)와 계절성(seasonality)으로 인간이 이해할 수 있는 예측 구성요소를 산출한다.
• 다양한 데이터셋에 걸쳐 강한 일반화를 달성하는 학습 및 앙상블 전략을 제시한다.

제안 방법

• 역방향 및 순방향 잔차 연결이 있는 완전연결 블록의 스택으로 구성된 딥 뉴럴 아키텍처를 도입하여 backcasts와 forecasts를 생성한다.
• 블록과 스택 전체에서 부분 예측과 역투영(backcasts)을 집계하기 위해 이중 잔차 스태킹 방식을 사용한다.
• 스택 내에서 다항 추세와 푸리에 기반의 계절성을 강제하는 귀납적 편향을 가진 해석 가능한 DL 모델과 일반 DL 모델의 두 구성을 정의한다.
• 블록당 두 가지 출력 모달리티를 제공한다: 순방향 예측(forward forecast)과 역방향 백캐스트(backward backcast), 둘 다 학습된 확장 계수와 기저 함수로 표현된다.
• 해석 가능성을 높이고 그래디언트 흐름을 촉진하기 위해 스택 내 기저 함수를 공유하도록 한다.
• 예측 구간 H마다 별도의 모델을 학습하고, 구간과 데이터셋에 걸쳐 아키텍처와 하이퍼파라미터를 재사용하며, 성능 향상을 위해 앙상블을 적용한다.
• 추세와 계절성 구성요소로 예측을 분해하여 해석 가능성에 대해 논의하며, 추세는 저차 다항식으로 모델링되고 계절성은 푸리에 기저를 통해 모델링된다.

실험 결과

연구 질문

• RQ1 순수 딥 러닝 아키텍처가 시간 시계열 특화 구성요소 없이도 주요 TS 예측 벤치마크에서 전통적 통계 방법을 앞지를 수 있는가?
• RQ2 DL 모델에서 해석 가능한 예측 구성요소(추세와 계절성)를 얻되 예측 정확도 손실 없이 달성할 수 있는가?
• RQ3 스택 내 기저 함수를 공유하는 것이 해석 가능성과 학습 효율성에 도움이 되면서 성능을 유지하는가?
• RQ4 다양한 구간, 지표, 무작위 초기화 간 앙상블이 예측 정확도와 강건성에 어떤 영향을 미치는가?

주요 결과

• N-BEATS는 보고된 구성 및 지표 전반에서 M3, M4, 및 관광 데이터셋에 대한 최첨단 성능을 달성한다.
• 두 가지 구성 연구가 수행되었다: 일반 DL 모델(N-BEATS-G)과 해석 가능한 모델(N-BEATS-I)로, N-BEATS-I는 상당한 정확도 손실 없이 해석 가능한 추세 및 계절성 출력을 제공할 수 있다.
• M4 데이터셋에서 N-BEATS 변형은 통계적 벤치마크 및 M4 대회 우승자보다 현저한 차이로 우수한 성능을 보이며 순수 DL 접근법의 강점을 보여준다.
• 해석 가능한 변형은 예측을 단조로운 추세와 규칙적 계절 구성요소로 분해하며 전통적 분해 기법과 유사한 방식으로 작동하고도 정확도에 큰 타협이 없다.
• 여러 모델을 앙상블하는 것이(구간, 지표, 창 길이, 무작위 시드 기반) 추가적인 성능 향상을 가져오고 강력한 정규화 역할을 한다.