[논문 리뷰] MOrdReD: Memory-based Ordinal Regression Deep Neural Networks for Time Series Forecasting

Bernardo Pérez Orozco, Gabriele Abbati외 1명|arXiv (Cornell University)|2018. 03. 26.

Gaussian Processes and Bayesian Inference참고 문헌 13인용 수 9

한 줄 요약

이 논문은 시간 시리즈 예측을 위해 메모리 기반 순서 회귀 딥 뉴럴 네트워크인 MOrdReD를 제안한다. 이는 이산적인 미래 값에 대해 양자화를 적용함으로써 회귀 문제를 순서 분류 문제로 변환한다. 순환 아키텍처와 엔드 투 엔드 훈련을 활용함으로써, 높은 불확실성 캘리브레이션과 확장성으로 복잡하고 다중 모달, 비정규 예측 분포를 모델링할 수 있으며, 장기 예측 수준에서 45개의 다양한 데이터셋에서 최신 기술 모델—예를 들어 가우시안 프로세스—를 능가한다.

ABSTRACT

Time series forecasting is ubiquitous in the modern world. Applications range from health care to astronomy, and include climate modelling, financial trading and monitoring of critical engineering equipment. To offer value over this range of activities, models must not only provide accurate forecasts, but also quantify and adjust their uncertainty over time. In this work, we directly tackle this task with a novel, fully end-to-end deep learning method for time series forecasting. By recasting time series forecasting as an ordinal regression task, we develop a principled methodology to assess long-term predictive uncertainty and describe rich multimodal, non-Gaussian behaviour, which arises regularly in applied settings. Notably, our framework is a wholly general-purpose approach that requires little to no user intervention to be used. We showcase this key feature in a large-scale benchmark test with 45 datasets drawn from both, a wide range of real-world application domains, as well as a comprehensive list of synthetic maps. This wide comparison encompasses state-of-the-art methods in both the Machine Learning and Statistics modelling literature, such as the Gaussian Process. We find that our approach does not only provide excellent predictive forecasts, shadowing true future values, but also allows us to infer valuable information, such as the predictive distribution of the occurrence of critical events of interest, accurately and reliably even over long time horizons.

연구 동기 및 목표

• 장기 예측에서 특히 중요한, 딥 러닝 기반 시간 시리즈 예측의 신뢰할 수 있는 불확실성 정량화 부족 문제를 해결한다.
• 정규성 가정이 제한적이고 확장성에 떨어지는 가우시안 프로세스 모델의 한계를 극복하여, 복잡하고 비정규 예측 분포를 효과적으로 포착한다.
• 모델 설계 및 적응에 최소한의 인간 간섭이 필요한 완전한 엔드 투 엔드, 확장 가능한 딥 러닝 프레임워크를 개발한다.
• 정확한 장기 예측을 가능하게 하고, 임계 사건 발생 확률을 추론할 수 있는 캘리브레이션된 확률 예측을 제공한다.
• 혼돈된 동역학과 비 stationary 동역학을 포함한 다양한 실제 및 시뮬레이션 시간 시리즈에 대해 일반화 능력을 입증한다.

제안 방법

• 미래 이산 값에 대해 양자화 단계를 적용함으로써 시간 시리즈 예측 문제를 순서(자기) 회귀 문제로 재정의한다.
• 시간적 의존성과 장기적 맥락을 모델링하기 위해 메모리 메커니즘을 갖춘 순환 신경망(RNN) 아키텍처를 사용한다.
• 예측 분포의 직접 학습을 가능하게 하기 위해 순서 클래스에 대한 교차 엔트로피 손실을 사용하여 모델을 엔드 투 엔드로 훈련시킨다.
• 예측된 클래스 확률을 활용해 전체 예측 분포를 재구성함으로써, 다중 모달 및 비정규 행동을 허용한다.
• 장기적 맥락을 유지하고 다양한 시간 시리즈 패턴 간의 일반화 능력을 향상시키기 위해 메모리 기반 구성 요소를 통합한다.
• 예측 간격 커버리지와 신뢰도 다이어그램을 통한 검증을 통해 신뢰할 수 있는 불확실성 추정을 보장하기 위해 캘리브레이션 기법을 적용한다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크가 복잡하고 다중 모달, 비정규 예측 분포를 지닌 장기 예측 시간 시리즈를 효과적으로 모델링할 수 있는가?
• RQ2 제안된 순서 회귀 접근법이 가우시안 프로세스 및 기타 최신 기술 모델과 비교해 불확실성 캘리브레이션과 예측 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 전문가가 수작업으로 조정한 하이퍼파rameter나 커널 설계 없이, 이 방법이 다양한 시간 시리즈 도메인에 얼마나 잘 일반화되는가?
• RQ4 안전 중심 응용 분야에서 임계 사건(예: 극단적 값 또는 시스템 장애)의 발생 확률을 신뢰할 수 있게 추정할 수 있는가?
• RQ5 메모리 기반 아키텍처가 표준 RNN 또는 시퀀스 투 시퀀스 모델 대비 장기 예측 수준에서 성능 향상에 기여하는가?

주요 결과

• MOreD는 예측 정확도, 불확실성 캘리브레이션, 신뢰도 지표 측면에서 45개의 다양한 시간 시리즈 데이터셋에서 최신 기술 모델—가우시안 프로세스 및 베이지안 신경망 포함—을 능가한다.
• 특히 혼돈된 시스템인 로렌츠 맵에서 장기 예측 수준(P_h = 1000)에서도 커버리지 확률과 샤프nees 지표를 포함한 모든 평가 지표에서 최고 성능을 기록한다.
• MOreD는 다른 모델이 복잡하고 비정규 형태를 모델링하지 못하는 심전도 데이터와 같이 다중 모달 예측 분포를 성공적으로 포착한다.
• 심장학 및 기상학과 같은 안전 중심 도메인에서 신뢰할 수 있는 신뢰구간을 제공함으로써, 임계 사건 예측에 대한 강건성을 입증한다.
• 다수의 경우에서 베이스라인을 능가하지만, 로렌츠 맵에서는 GP+GMM가 극단적 동역학을 더 잘 처리함으로써 약간 더 뛰어난 성능을 보이며, MOrdReD 역시 경쟁력 있는 성능을 유지한다.
• 모든 작업과 지표에서 프레임워크는 항상 1위 또는 2위를 차지하며, 어떤 평가에서도 모든 다른 모델이 동시에 이길 가능성이 매우 낮다.