[논문 리뷰] Ensemble Modeling for Time Series Forecasting: an Adaptive Robust Optimization Approach

Dimitris Bertsimas, Léonard Boussioux|arXiv (Cornell University)|2023. 04. 09.

Air Quality Monitoring and Forecasting인용 수 5

한 줄 요약

이 논문은 시간 시리즈 예측 앙상블을 위한 적응형 강건 최적화(ARO) 프레임워크를 제안하며, 실시간으로 모델 가중치를 동적으로 조정하여 정확도와 강건성을 향상시킨다. 실제 응용 사례에서 최적의 앙상블 구성원보다 16–26% 낮은 RMSE와 14–28% 낮은 CVaR를 달성한다.

ABSTRACT

Accurate time series forecasting is critical for a wide range of problems with temporal data. Ensemble modeling is a well-established technique for leveraging multiple predictive models to increase accuracy and robustness, as the performance of a single predictor can be highly variable due to shifts in the underlying data distribution. This paper proposes a new methodology for building robust ensembles of time series forecasting models. Our approach utilizes Adaptive Robust Optimization (ARO) to construct a linear regression ensemble in which the models' weights can adapt over time. We demonstrate the effectiveness of our method through a series of synthetic experiments and real-world applications, including air pollution management, energy consumption forecasting, and tropical cyclone intensity forecasting. Our results show that our adaptive ensembles outperform the best ensemble member in hindsight by 16-26% in root mean square error and 14-28% in conditional value at risk and improve over competitive ensemble techniques.

연구 동기 및 목표

• 데이터 분포의 변화로 인해 시간이 지남에 따라 개별 모델의 성능이 떨어지는 모델 드리프트 문제를 해결한다.
• 신규 데이터와 불확실성에 대응해 앙상블 가중치를 동적으로 조정함으로써 예측의 강건성과 정확도를 향상시킨다.
• 가장 악성인 오차에 대비한 이론적 보장을 제공하는 실용적이고 강건한 최적화 프레임워크를 개발한다.
• 높은 영향력을 미치는 실제 예측 과제에서 정적 및 적응형 앙상블 벤치마크 대비 본 방법의 우수성을 입증한다.
• 의료 및 기후 모델링과 같은 다중 모odal 시간 시리즈 응용 분야에서 적응형 특징 선택으로 방법을 확장한다.

제안 방법

• 각 시간 단계에서 폭 드러난 오차에 기반해 가중치를 업데이트하는 다단계 적응형 강건 최적화(ARO) 문제로 앙상블 가중치 문제를 수립한다.
• 적응형 가중치를 매개변수화하기 위해 선형 결정 규칙을 사용하여 비볼록 최소-최대 문제를 실용적인 2차원 원형 프로그램(SOCP)으로 변환한다.
• 모델 예측 오차의 불확실성 집합을 통합하여 악성 왜곡에 대비한 강건성을 확보한다.
• 기본 모델 예측의 가중합으로 최종 예측을 구성하는 선형 회귀 앙상블을 구축하며, 가중치는 ARO를 통해 최적화한다.
• 등가 정리들을 적용하여 강건 최적화 문제를 실무에 적합한 볼록이고 계산 효율적인 형태로 재구성한다.
• 에너지, 대기 질, 열대 시계열 강도 예측과 같은 실제 예측 파이프라인에 본 방법을 통합한다.

Figure 1 : Schematic of the principle of ensemble modeling. Several base learners make predictions from the original data and are combined into an ensemble. We represent the three real-world data applications included in this paper.

실험 결과

연구 질문

• RQ1 적응형 강건 최적화는 정적 또는 히우리스틱 가중치 방법에 비해 시간 시리즈 예측 앙상블의 정확도와 강건성 향상에 기여하는가?
• RQ2 다양한 실제 예측 과제에서 본 ARO 기반 앙상블은 후행적으로 가장 우수한 개별 모델에 비해 어떻게 성능을 냈는가?
• RQ3 적응형 가중치 메커니즘이 모델 드리프트의 영향을 얼마나 줄이고 악성 예측 오차를 감소시키는가?
• RQ4 ARO 프레임워크는 의료나 기후 응용 분야와 같은 다중 모달 시간 시리즈 데이터에서 적응형 특징 선택으로 확장될 수 있는가?
• RQ5 핵심 하이퍼파rameter(예: 불확실성 집합 크기, 정규화)가 적응형 앙상블의 성능과 안정성에 미치는 영향은 무엇인가?

주요 결과

• 모든 실제 예측 과제에서 최적의 개별 모델에 비해 16–26% 낮은 루트 평균 제곱 오차(RMSE)를 기록하며, 적응형 강건 앙상블이 슈퍼리오어 성능을 보였다.
• 후행적으로 가장 우수한 모델에 비해 조건부 가치의 기대값(CVaR)을 14–28% 낮춰, 악성 상황에서의 성능이 뛰어나다는 것을 시사한다.
• 제안된 방법의 변형인 적응형 릿지 회귀는 북대서양과 동태평양 지역에서 공식 예측(OFCL) 대비 각각 12%와 17% 낮은 MAE를 달성했다.
• 정적 릿지 회귀에 비해 북대서양에서 4%의 MAE 향상, 동태평양에서 9%의 MAE 향상을 기록하며 적응형 성분의 기여를 입증했다.
• 표준 앙상블(예: 앙상블 평균, Exp3)보다 일관되게 뛰어난 성능을 보였으며, 정확성과 강건성에서 운영 예측(FSSE, OFCL)을 추월하거나 이를 충족했다.
• 합성 실험을 통해 적응형 앙상블가 모델 드리프트에 강건하며, 다양한 불확실성 수준과 데이터 분포 변화 하에서도 성능를 유지함을 확인했다.

Figure 2 : Average performance across 30 seeds of the different ensemble methods with respect to the number of ensemble members. We added in light color the corresponding one-standard deviation intervals around the average.