[논문 리뷰] Probabilistic Time Series Forecasts with Autoregressive Transformation Models

David Rügamer, Philipp F. M. Baumann외 2명|arXiv (Cornell University)|2021. 10. 15.

Stock Market Forecasting Methods인용 수 1

한 줄 요약

이 논문은 표현력 있는 분포 예측과 해석 가능한 파rametric 변환을 결합한 반정적 프레임워크인 자동회귀 변환 모델(Autoregressive Transformation Models, ATMs)을 소개한다. 자동회귀 변환을 통해 정규화 흐름을 활용함으로써 ATMs는 복잡한 비정규 분포—예를 들어 双모달 또는 기울어진 밀도—를 매우 높은 유연성으로 모델링하면서도 계산 효율성과 해석 가능성도 유지한다. 이는 시뮬레이션 및 실세계 데이터셋에서 기존의 ARIMA 및 Prophet과 같은 전통적 모델을 능가한다.

ABSTRACT

Probabilistic forecasting of time series is an important matter in many applications and research fields. In order to draw conclusions from a probabilistic forecast, we must ensure that the model class used to approximate the true forecasting distribution is expressive enough. Yet, characteristics of the model itself, such as its uncertainty or its feature-outcome relationship are not of lesser importance. This paper proposes Autoregressive Transformation Models (ATMs), a model class inspired by various research directions to unite expressive distributional forecasts using a semi-parametric distribution assumption with an interpretable model specification. We demonstrate the properties of ATMs both theoretically and through empirical evaluation on several simulated and real-world forecasting datasets.

연구 동기 및 목표

• 복잡한 조건부 분포를 포착하는 유연하면서도 해석 가능한 확률적 시계열 예측 모델 클래스를 개발하는 것.
• 파arametric 모델이 비정규, 다중모달 또는 기울어진 예측 분포를 표현하는 데 한계를 가진다는 문제를 해결하는 것.
• 정규화 흐름의 표현력과 자동회귀 변환을 통한 파arametric 모델의 해석 가능성 간의 조합을 이루는 것.
• AT(p) 모델에서의 매개변수 추정에 대한 이론적 渐近 결과를 도출하고, 실증적으로 성능을 검증하는 것.
• 전기, 환율, 교통, 관광 데이터를 포함한 다양한 실세계 시계열에서 이 방법의 유효성을 입증하는 것.

제안 방법

• ATMs는 단순한 기저 분포 FZ를 자동회귀적 파arametric 변환을 통해 복잡한 조건부 분포 FY|x로 변환하는 반정적 접근을 사용한다.
• 모델은 z ∼ FZ 이며, 역변환 h(y) = z를 통해 정의되며, 변화변수 공식을 통해 정확한 밀도 평가가 가능하다.
• 변환 함수 h는 이전 값들을 공변수로 사용하는 덧셈 예측자로 모델링되어 자동회귀적 구조와 해석 가능성을 보장한다.
• 이 방법은 정규화 흐름(NFs)을 일반적 프레임워크로 활용하며, AT(p)는 단일 변환 레이어를 사용하는 특수한 경우이다.
• 모델 피팅은 딥 회귀 및 덧셈 모델링에서 유래한 최적화 기법을 사용한 최대우도 추정을 통해 수행된다.
• 미약한 정규성 조건 하에 조건부 밀도의 보편적 근사가 가능하여, 복잡한 시계열 분포의 민감한 모델링이 가능하다.

실험 결과

연구 질문

• RQ1 자동회귀 변환 모델(ATMs)은 시계열 예측에서 복잡하고 비정규적인 조건부 밀도를 효과적으로 모델링할 수 있는가?
• RQ2 ARIMA와 같은 전통적 모델과 Prophet과 같은 현대적 방법에 비해 ATMs의 확률적 예측 정확도는 어떻게 비교되는가?
• RQ3 ATMs는 높은 표현력과 함께 얼마나 잘 해석 가능한가?
• RQ4 특히 渐近적 일致성과 효율성 측면에서 AT(p) 모델의 매개변수 추정의 이론적 성질은 어떠한가?
• RQ5 기타 딥 확률적 예측 방법에 비해 ATMs는 얼마나 확장 가능하고 계산 효율적인가?

주요 결과

• ATMs는 기존의 파arametric 모델이 실패하는 경우—예를 들어 이중모달 결과—와 같은 복잡한 다중모달 예측 분포를 효과적으로 모델링한다. 이는 시뮬레이션 데이터를 통해 입증되었다.
• 실세계 데이터셋(전기, 환율, 교통, 관광 및 M4)에서 ATMs는 연속적 랭크 확률 점수(CRPS) 측면에서 ARIMA 및 Prophet을 능가하는 뛰어난 예측 성능을 보였다.
• ATMs의 순수 R 구현체는 지수적 초과 스케일링이 아닌 하위지수적 성능을 보이며, 신경망 버전은 10^5 건의 관측치에서도 안정적인 추론 시간을 유지한다.
• ATMs는 강력한 이론적 성질을 보이며, AT(p) 모델에서 매개변수 추정의 渐近 정규성과 일치성이 입증되었다.
• 지난 값들과의 연결을 통해 변환 함수에 대한 맥락을 제공함으로써 ATMs는 시계열의 투명성과 높은 민감성을 동시에 확보한 해석 가능한 모델링을 가능하게 한다.
• 실증 결과는 ATMs가 비선형적이고 비정규적이며 이방산성 동역학을 포착할 수 있음을 확인하였으며, 이는 실세계 예측 응용에 적합함을 시사한다.