[논문 리뷰] N-BEATS: Neural basis expansion analysis for interpretable time series forecasting

Boris N. Oreshkin, Dmitri Carpov외 2명|arXiv (Cornell University)|2019. 05. 24.

Forecasting Techniques and Applications참고 문헌 33인용 수 517

한 줄 요약

N-BEATS를 소개하는 순수 DL 단변량 시계열 예측 아키텍처로, 역방향/정방향 잔차 및 이중 잔차 스택을 갖추고 있으며, 해석 가능한 출력과 함께 M3, M4, 그리고 tourism 데이터셋에서 최첨단 성능을 달성한다.

ABSTRACT

We focus on solving the univariate times series point forecasting problem using deep learning. We propose a deep neural architecture based on backward and forward residual links and a very deep stack of fully-connected layers. The architecture has a number of desirable properties, being interpretable, applicable without modification to a wide array of target domains, and fast to train. We test the proposed architecture on several well-known datasets, including M3, M4 and TOURISM competition datasets containing time series from diverse domains. We demonstrate state-of-the-art performance for two configurations of N-BEATS for all the datasets, improving forecast accuracy by 11% over a statistical benchmark and by 3% over last year's winner of the M4 competition, a domain-adjusted hand-crafted hybrid between neural network and statistical time series models. The first configuration of our model does not employ any time-series-specific components and its performance on heterogeneous datasets strongly suggests that, contrarily to received wisdom, deep learning primitives such as residual blocks are by themselves sufficient to solve a wide range of forecasting problems. Finally, we demonstrate how the proposed architecture can be augmented to provide outputs that are interpretable without considerable loss in accuracy.

연구 동기 및 목표

• 타임 시리즈 특성에 의존하지 않는 순수 딥러닝 아키텍처가 단변량 시계열 예측에서 전통적인 통계 방법보다 더 나은 성능을 낼 수 있음을 입증한다.
• 백워드(역방향) 및 포워드(정방향) 잔차를 스택으로 구성하는 심층 아키텍처를 제안하여 학습이 빠르고 도메인 간 확장 가능하도록 한다.
• 정확도를 희생하지 않으면서 해석 가능한 출력(추세 및 계절성)을 생성할 수 있음을 보인다.
• 다양한 데이터셋(M3, M4, tourism)에서 성능을 평가하여 도메인 전반에 걸친 일반화를 확립한다.

제안 방법

• N-BEATS 빌딩 블록을 제안: 전진 확장 계수(theta^f)와 후진 확장 계수(theta^b)를 예측하는 완전 연결 네트워크.
• 기저 계층 g^f와 g^b를 사용하여 확장 계수를 기저 벡터 v^f와 v^b를 통해 예측값 y_hat 및 백캐스트 x_hat으로 매핑한다.
• 블록을 이중 잔차 연결이 있는 스택으로 구성: x_l = x_{l-1} - x_hat_{l-1}, y_hat = sum over l of y_hat_l.
• 두 가지 구성 제공: 일반적인 DL 버전(시계열 특화 바이어스 없음)과 귀납적 편향을 갖춘 해석 가능한 버전(추세를 다항식으로, 계절성을 푸리에 기저로).
• 스택 전체의 부분 예측치를 모아 최종 예측 y_hat를 구성하고, 다양한 입력, 지표, 무작위 초기화를 사용해 학습된 모델 앙상블을 포함한다.
• 훈련: 지평선당/데이터셋당 하나의 모델을 학습; Adam 사용; 교차 검증된 하이퍼파라미터; 조기 중지; 길이 2H..7H의 과거 창에서 1024 배치 샘플링.

실험 결과

연구 질문

• RQ1 시계열 특정 특징 공학 없이 순수 딥러닝만으로도 다양한 단변량 시계열 데이터셋에서 최첨단 예측 정확도를 달성할 수 있는가?
• RQ2 예측 성능을 희생하지 않으면서 해석 가능한 출력(추세와 계절성)을 생성하도록 아키텍처를 설계할 수 있는가?
• RQ3 딥 시계열 모델에서 스태킹과 잔차 연결이 학습 안정성과 일반화에 미치는 영향은 무엇인가?
• RQ4 벤치마크 데이터셋에서 N-BEATS 모델의 앙상블이 전통적 통계 방법 및 하이브리드 접근법과 어떻게 비교되는가?

주요 결과

• N-BEATS 구성은 M3, M4, 및 tourism 데이터셋에서 최첨단 성능을 달성하며, 통계 벤치마크 및 M4 우승자에 비해 상당한 개선을 보인다.
• 일반적인 N-BEATS 모델(시계열 특화 컴포넌트 없음)이 이질적인 데이터셋에서 강하게 작동하여, 예측에 손으로 설계된 특징이 필요하다는 관점을 뒤집는다.
• 해석 가능한 구성은 추세와 계절성과 같은 뚜렷하고 사람과 유사한 구성요소를 제공하되, 추세 구성요소는 단조롭고 계절성은 주기적이며, 동시에 경쟁력 있는 정확도를 유지한다.
• 지평선, 지표, 입력 창 길이가 다른 180개 모델의 앙상블은 강건한 성능을 제공하며 강력한 정규화 기법으로 작용한다.
• 이 아키텍처는 지평선과 데이터셋 전반에 걸쳐 공유 가중치로 학습될 수 있어, 다양한 시계열 설정에서 일반화와 확장성을 보여준다.