[논문 리뷰] Comparison of Uncertainty Quantification with Deep Learning in Time Series Regression

Levente Foldesi, Matías Valdenegro-Toro|arXiv (Cornell University)|2022. 11. 11.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 PM2.5 및 기압 데이터셋을 사용하여 시계열 회귀에서 딥러닝의 불확실성 정량화 방법을 평가한다. 몬테카를로 드롭아웃, 앙상블, 베이지안 신경망 등의 방법을 다층퍼셉트론(MLP) 및 순환신경망(LSTM) 모델에서 비교하여, 앙상블과 드롭아웃 기반 접근법이 예측 시간 간격에 따라 증가하는 불확실성과 오차와의 일치성을 포함한 핵심 불확실성 기대를 가장 잘 충족함을 발견한다.

ABSTRACT

Increasingly high-stakes decisions are made using neural networks in order to make predictions. Specifically, meteorologists and hedge funds apply these techniques to time series data. When it comes to prediction, there are certain limitations for machine learning models (such as lack of expressiveness, vulnerability of domain shifts and overconfidence) which can be solved using uncertainty estimation. There is a set of expectations regarding how uncertainty should ``behave". For instance, a wider prediction horizon should lead to more uncertainty or the model's confidence should be proportional to its accuracy. In this paper, different uncertainty estimation methods are compared to forecast meteorological time series data and evaluate these expectations. The results show how each uncertainty estimation method performs on the forecasting task, which partially evaluates the robustness of predicted uncertainty.

연구 동기 및 목표

• 시계열 회귀에서 다양한 불확실성 정량화 방법이 예상 행동(예: 예측 시간 간격 증가에 따라 불확실성 증가)을 얼마나 잘 충족하는지 평가하기 위해.
• 다양한 딥러닝 아키텍처(MLP 대 LSTM)와 데이터셋(PM2.5 및 기압) 간에 불확실성 추정의 강건성을 평가하기 위해.
• 고위험 예측 응용 분야에서 예측 정확도와 신뢰할 수 있는 불확실성 校정 간의 균형을 가장 잘 이루는 불확실성 추정 기법을 특정하기 위해.
• 일반적으로 가정되는 불확실성 성질(오차 비례성 및 시간 간격 증가에 따른 증가성 등)이 현재의 딥러닝 방법에 의해 충족되는지 조사하기 위해.

제안 방법

• PM2.5 농도 및 기압 측정값이라는 두 가지 환경 시계열 데이터셋에 대해 피드포워드 MLP 및 순환 LSTM 모델을 훈련시켰다.
• 6가지 불확실성 정량화 방법을 적용: 기저 베이스라인 가우시안 NLL 손실, 몬테카를로 드롭아웃, MC-DropConnect, Flipout, 베이즈-바이-백프로프(BBB), 및 모델 앙상블.
• 평가 지표로 평균제곱오차(MSE), 평균절대백분율오차(MAPE), R², 校정 오차, 음의 로그우도(NLL), 예측 시간 간격 일致성 등을 사용하였다.
• 신뢰도 대 오차 플롯 및 12개의 향후 타임스텝에 걸친 시간 간격 기반 불확실성 추세를 통해 불확실성 행동을 평가하였다.
• 데이터를 1시간 간격으로 전처리하고, 12개의 과거 타임스텝을 사용해 1개의 향후 타임스텝을 예측하였으며, 최대 12단계 앞선 예측까지 시간 간격 평가를 확장하였다.
• Adam 옵timizer를 사용해 100 에포크 동안 훈련하였고, 초기 학습률은 0.001로 설정하였다. 불확실성은 예측된 평균 μ(x) 및 표준편차 σ(x)를 통해 평가하였다.

실험 결과

연구 질문

• RQ1 딥러닝 모델의 불확실성 추정이 시계열 예측에서 예상되는 바와 같이 예측 시간 간격이 증가함에 따라 적절히 증가하는가?
• RQ2 다양한 불확실성 정량화 방법이 confidence vs. error 플롯을 통해 모델의 신뢰도가 실제 예측 오차와 얼마나 잘 일치하는가?
• RQ3 드롭아웃, 앙상블, BBB 또는 기타 방법 중에서, 두 데이터셋과 모델 유형 전반에서 가장 신뢰할 수 있고 잘 校정된 불확실성 추정을 제공하는 방법은 무엇인가?
• RQ4 순환(LSTM) 및 피드포워드(MLP) 아키텍처는 불확실성 추정이 도메인 특화 기대를 충족시키는 데 있어 어떤 차이를 보이는가?
• RQ5 비시계열 데이터를 대상으로 설계된 표준 불확실성 방법은 시계열에 효과적으로 적용될 수 있는가, 아니면 순차적 의존성을 포착하지 못해 실패하는가?

주요 결과

• 앙상블과 몬테카를로 드롭아웃은 두 데이터셋과 모델 아키텍처 전반에서 校정 오차, NLL, MAPE를 최소화하는 데서 다른 방법들보다 뚜렷하게 뛰어났다.
• 기저 모델인 가우시안 NLL 손실을 사용한 경우, PM2.5 데이터셋에서 시간 간격 증가에 따른 불확실성 증가를 예측하는 데 가장 우수한 성능을 보였지만, 다른 지표에선 실패했다.
• 기압 데이터셋의 경우, MLP 드롭아웃 모델이 가장 낮은 MAPE(1)과 NLL(4)를 기록했으며, 시간 간격 기대를 가장 잘 충족시켜 예측 시간이 갈수록 증가하는 불확실성을 보였다.
• 앙상블 및 드롭아웃 불확실성 추정을 사용한 LSTM 모델은 신뢰도 대 오차 플롯에서 뛰어난 성능을 보여, 신뢰할 수 있는 불확실성 校정이 이루어졌음을 시사했다.
• 모든 지표에서 모든 기대를 충족시키는 유일한 방법은 존재하지 않았다: 앙상블과 드롭아웃이 종합적으로 가장 우수했지만, 특정 경우에서는 일부 가정을 위반했다.
• 모델 아키텍처 선택(MLP 대 LSTM)은 불확실성 행동에 상당한 영향을 미쳤다: 비재귀 모델이 시간 간격 기반 불확실성 추세를 더 잘 포착한 반면, 재귀 모델은 신뢰도-오차 일치성에서 더 우수한 성능을 보였다.