[논문 리뷰] Reinforcement Learning based dynamic weighing of Ensemble Models for Time Series Forecasting

Satheesh K. Perepu, Bala Shyamala Balaji외 3명|arXiv (Cornell University)|2020. 08. 20.

Time Series Analysis and Forecasting인용 수 5

한 줄 요약

이 논문은 시계열 예측에서 앙상블 모델 가중치를 동적으로 조정하기 위한 강화학습(RL) 기반 방법을 제안한다. 이는 국소적 데이터 특성에 적응적으로 반응할 수 있도록 한다. 가중치 조정을 순차적 결정 문제로 간주함으로써, RL 에이전트는 실시간으로 예측 오차를 최소화하도록 학습하며, 다음으로 가장 우수한 방법(0.143 대 0.256)보다 NMSE에서 44.1% 향상시켜 온라인 환경에서 뛰어난 정확성과 적응성을 입증한다.

ABSTRACT

Ensemble models are powerful model building tools that are developed with a focus to improve the accuracy of model predictions. They find applications in time series forecasting in varied scenarios including but not limited to process industries, health care, and economics where a single model might not provide optimal performance. It is known that if models selected for data modelling are distinct (linear/non-linear, static/dynamic) and independent (minimally correlated models), the accuracy of the predictions is improved. Various approaches suggested in the literature to weigh the ensemble models use a static set of weights. Due to this limitation, approaches using a static set of weights for weighing ensemble models cannot capture the dynamic changes or local features of the data effectively. To address this issue, a Reinforcement Learning (RL) approach to dynamically assign and update weights of each of the models at different time instants depending on the nature of data and the individual model predictions is proposed in this work. The RL method implemented online, essentially learns to update the weights and reduce the errors as the time progresses. Simulation studies on time series data showed that the dynamic weighted approach using RL learns the weight better than existing approaches. The accuracy of the proposed method is compared with an existing approach of online Neural Network tuning quantitatively through normalized mean square error(NMSE) values.

연구 동기 및 목표

• 정적 가중치 조정의 한계를 해결하기 위해, 이는 국소적 데이터 특성과 시간에 따라 변화하는 모델 성능에 적응하지 못함을 목표로 한다.
• 예측 오차와 데이터 맥락에 기반해 실시간으로 모델 가중치를 업데이트하는 온라인 동적 가중치 조정 메커니즘을 개발하기 위해 목표로 한다.
• 고정 또는 배치 최적화된 가중치를 사용하는 것 대신, RL을 활용해 앙상블 가중치를 적응적으로 최적화함으로써 시계열 예측 정확도를 향상시키기 위해 목표로 한다.
• 실시간 모델 선택 및 가중치 조정을 가능하게 하여, 언제든지 가장 관련성이 높은 모델을 식별할 수 있도록 하기 위해 목표로 한다.
• 정적 및 온라인 학습 기반 기준 대비 RL 기반 동적 가중치 조정의 실현 가능성과 우수성을 시계열 예측에서 입증하기 위해 목표로 한다.

제안 방법

• 동적 가중치 조정을 마르코프 결정 과정(MDP)으로 공식화하며, 상태는 개별 모델의 예측 오차와 현재 시간 단계로 정의된다.
• 행동 공간은 앙상블 내 각 모델에 할당된 가중치로 구성되며, 목표는 총 예측 오차를 최소화하는 것이다.
• 딥 Q 네트워크(DQN)를 사용해 Q함수를 근사하며, 네트워크 입력은 현재 상태(예측 오차)이고 출력은 각 행동(가중치 벡터)에 대한 Q값이다.
• 보상 함수는 각 시간 단계에서 정규화된 평균 제곱 오차(NMSE)의 음수로 정의되며, 에이전트가 오차를 최소화하도록 유도한다.
• 모델은 온라인으로 훈련되며, 경험 재생과 타겟 네트워크를 사용해 학습을 안정화시키기 위해 각 새로운 데이터 샘플 이후 가중치를 업데이트한다.
• 최종 가중치는 앙상블 예측에 적용되며, 새로운 데이터가 도착함에 따라 시스템은 지속적으로 적응한다.

실험 결과

연구 질문

• RQ1 강화학습이 시계열 예측에서 앙상블 모델에 대해 시간에 따라 변화하는 동적 가중치를 효과적으로 학습할 수 있는가?
• RQ2 예측 정확도 측면에서 RL 기반 동적 가중치 조정의 성능은 정적 가중치 조정 및 온라인 신경망 튜닝과 비교해 어떻게 되는가?
• RQ3 비선형 추세나 주기성과 같은 시계열 데이터의 국소적 특성에 대해, RL 에이전트가 적절히 모델 가중치를 조정함으로써 적응할 수 있는가?
• RQ4 RL 기반 방법의 계산 오버헤드는 얼마이며, 실시간 온라인 예측 응용에 적합한가?
• RQ5 RL 방법은 언제든지 가장 관련성이 높은 모델을 식별할 수 있는가? 이는 앙상블 결정의 해석 가능성 제공에 기여한다.

주요 결과

• 제안된 RL 기반 동적 가중치 조정 방법은 테스트 세트에서 NMSE 0.143을 달성하여, 다음으로 가장 우수한 방법인 온라인 신경망 튜닝(0.256)보다 유의미하게 뛰어나다.
• 온라인 NN 기준 대비 NMSE를 44.1% 감소시켜 시계열 예측 정확도 향상에 상당한 기여를 하였다.
• 개별 모델 중에서 ANN이 가장 우수한 성능을 보였으며 NMSE 0.26을 기록했지만, RL 가중치를 적용한 앙상블은 이를 초월하여 효과적인 모델 조합을 입증하였다.
• RL을 사용한 가중치 계산 평균 시간은 샘플당 0.2초였으며, 이는 샘플링 주기가 0.2초 이하인 실시간 응용에 적합하다.
• RL 에이전트는 국소적 데이터 특성에 성공적으로 적응하였으며, 훈련 및 테스트 단계에서 예측값이 진짜 값과 더 가까워진 것으로 나타나 동적 가중치 업데이트의 효과를 입증하였다.
• 이 방법은 실시간 모델 식별이 가능하며, 각 시간 단계에서 학습된 가중치는 그 순간에 가장 영향력이 높은 모델을 드러낸다.