[논문 리뷰] Improving Long-Horizon Forecasts with Expectation-Biased LSTM Networks

Aya Abdelsalam Ismail, Timothy Wood외 1명|arXiv (Cornell University)|2018. 04. 18.

Stock Market Forecasting Methods참고 문헌 13인용 수 23

한 줄 요약

이 논문은 K-means 클러스터링 또는 타깃 시계열의 평균을 통해 모델의 편향을 통합함으로써 장기 예측 성능을 햖थ한 기대값 편향 LSTM 네트워크를 제안한다. 타깃 값을 시계열 단계에 걸쳐 복제하고 학습된 편향을 주입함으로써, 평균 절대 오차(MAE)를 크게 감소시켰다. 알츠하이머병 환자 뇌실 부피 예측에서 단변량 LSTM 대비 47% 향상된 성능을 기록했으며, 미국 전력 소비 예측에서도 기준 모델들을 능가하는 성능을 보였다.

ABSTRACT

State-of-the-art forecasting methods using Recurrent Neural Net- works (RNN) based on Long-Short Term Memory (LSTM) cells have shown exceptional performance targeting short-horizon forecasts, e.g given a set of predictor features, forecast a target value for the next few time steps in the future. However, in many applica- tions, the performance of these methods decays as the forecasting horizon extends beyond these few time steps. This paper aims to explore the challenges of long-horizon forecasting using LSTM networks. Here, we illustrate the long-horizon forecasting problem in datasets from neuroscience and energy supply management. We then propose expectation-biasing, an approach motivated by the literature of Dynamic Belief Networks, as a solution to improve long-horizon forecasting using LSTMs. We propose two LSTM ar- chitectures along with two methods for expectation biasing that significantly outperforms standard practice.

연구 동기 및 목표

• 딥 RNN, 특히 LSTMs를 사용한 장기 예측에서의 정확도 저하 문제를 해결한다.
• 장기 예측에서의 지수적 오차 증가 문제를 해결하기 위해 모델에 구조적 편향을 도입한다.
• 장기간에 걸친 시간적 및 인과적 의존성을 활용해 다변량 예측 성능을 향상시킨다.
• 실제 데이터셋인 알츠하이머병 진행 상황과 미국 전력 소비 예측에서의 효과성을 입증한다.
• 장기 예측의 기울기 흐름 안정성을 향상시키기 위해 순차적 타깃 복제를 활용한 새로운 학습 전략을 제안한다.

제안 방법

• 장기간 시계열에서 대표적인 타깃 패턴을 학습하는 편향 모듈을 도입한다 (K-means 클러스터링 또는 평균을 통한 방식).
• 순차적 타깃 복제를 적용한다: 시계열의 모든 시간 단계에 최종 타깃 값의 복제본을 제공함으로써 일관된 오차 신호를 제공한다.
• 500~1000 에포크 동안 Adam 옵timizer를 사용해 두 층의 LSTM을 학습하며 각 층에 64개의 메모리 셀을 사용한다.
• 불규칙한 환자 진료 일정을 반영하기 위해 가변 길이의 시계열을 활용한다.
• 입력 특징(뇌실 부피, 인구통계학적 정보 등)을 스케일링하고 시계열 데이터를 지도학습 형식으로 변환한다.
• 모델을 두 번 학습한다: 표준 타깃을 사용한 경우와 타깃 복제를 적용한 경우를 통해 장기 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 학습된 편향을 LSTMs에 통합함으로써 표준 RNN보다 장기 예측 정확도를 향상시킬 수 있는가?
• RQ2 시계열 단계에 걸쳐 타깃을 복제하는 것이 기울기 안정성과 장기 예측 성능에 어떤 영향을 미치는가?
• RQ3 K-means를 사용해 타깃 시계열을 클러스터링하는 것이 단순 평균 또는 편향 없이 적용하는 것보다 더 나은 장기 예측 성능을 내는가?
• RQ4 제안된 방법은 장기 의료 및 에너지 예측 과제에서 지속성 및 전통적인 다변량 LSTM 기준 모델보다 우수한가?
• RQ5 장기 예측에서 편향 표현을 위한 최적의 클러스터 중심 수는 얼마인가?

주요 결과

• K-means 편향(K=2)을 적용한 제안된 모델 1은 ADNI 데이터셋에서 평균 절대 오차(MAE)를 0.002673으로 줄였으며, 단변량 LSTM 기준 모델(0.005042) 대비 47% 향상된 성능을 기록했다.
• 평균 기반 편향을 사용한 결과, MAE는 0.002673로 나타나 단변량 LSTM을 능가했으며, 최고의 K-means 설정과 동일한 성능을 달성했다.
• 전력 소비 예측 과제에서는 K-means를 통한 편향 추가가 모든 테스트된 클러스터 수에서 정확도 향상을 이끌었으며, K=2일 때 가장 낮은 MAE를 기록했다.
• 타깃 복제 기법은 특히 편향 주입과 조합했을 때 모델 성능 향상에 기여했으며, 장기 예측에서 오차 증가를 효과적으로 억제했다.
• K-means 편향(K=2)을 적용한 모델은 알츠하이머병 및 에너지 데이터셋 양쪽에서 기존의 다변량 LSTM 및 지속성 기준 모델을 모두 능가하는 성능을 보였다.
• 이 방법은 다양한 데이터 모odal과 예측 수준에 걸쳐 뛰어난 안정성을 보였으며, 장기 시간 예측 과제에 대한 일반화 능력을 입증했다.