[논문 리뷰] OneNet: Enhancing Time Series Forecasting Models under Concept Drift by Online Ensembling

Yifan Zhang, Qingsong Wen외 7명|arXiv (Cornell University)|2023. 09. 22.

Data Stream Mining Techniques인용 수 21

한 줄 요약

OneNet은 교차 시간 및 교차 변수의 두 흐름 온라인 앙상블을 구축하며, 가중치는 RL 정보를 활용한 온라인 볼록 프로그래밍 블록에 의해 동적으로 조정되어 컨셉 드리프트 하에서 상당한 개선을 가져옵니다.

ABSTRACT

Online updating of time series forecasting models aims to address the concept drifting problem by efficiently updating forecasting models based on streaming data. Many algorithms are designed for online time series forecasting, with some exploiting cross-variable dependency while others assume independence among variables. Given every data assumption has its own pros and cons in online time series modeling, we propose extbf{On}line extbf{e}nsembling extbf{Net}work (OneNet). It dynamically updates and combines two models, with one focusing on modeling the dependency across the time dimension and the other on cross-variate dependency. Our method incorporates a reinforcement learning-based approach into the traditional online convex programming framework, allowing for the linear combination of the two models with dynamically adjusted weights. OneNet addresses the main shortcoming of classical online learning methods that tend to be slow in adapting to the concept drift. Empirical results show that OneNet reduces online forecasting error by more than $\mathbf{50\%}$ compared to the State-Of-The-Art (SOTA) method. The code is available at \url{https://github.com/yfzhang114/OneNet}.

연구 동기 및 목표

• Address concept drift in online time-series forecasting.
• Propose a two-stream online ensemble to capture temporal and cross-variable dependencies.
• Develop an online convex programming block with reinforcement learning to dynamically weight ensemble members.
• Demonstrate robustness and performance gains across multiple datasets and baselines.

제안 방법

• Two-stream online forecasters: 하나는 시간적(교차 시간) 의존성을 모형화하고, 다른 하나는 교차 변수 의존성(cross-variable)을 모형화합니다.
• Online Convex Programming (OCP) 블록은 전문가 예측을 결합하고, 장기 적응을 위한 Exponentiated Gradient Descent로 업데이트되는 가중치와 단기 적응을 위한 오프라인 강화 학습을 결합합니다.
• 분리된 학습: 예측기를 개별적으로 학습시키고, OCP 블록은 약한 분기의 과소학습을 피하기 위해 앙상블 가중치를 학습합니다.
• RL 기반 단기 가중치 예측기가 최근 성능과 실제 정답 결과에 주목하여 앙상블 가중치를 세밀하게 조정합니다.
• RL과 EGD 가중치를 결합하여 변수별 최종 앙상블 가중치를 형성하고, 데이터 의존적 모델 선택을 가능하게 합니다.
• OneNet은 어떤 백본(backbone)이나 온라인 적응 전략과도 결합되어 강건성을 높일 수 있습니다.

실험 결과

연구 질문

• RQ1 온라인 앙상블이 다변량 시계열 예측에서 컨셉 드리프트를 어떻게 완화할 수 있을까?
• RQ2 시간적 및 교차 변수 의존성에 대한 별도 모델링 흐름이 드리프트 하에서 보완적 이점을 제공할까?
• RQ3 RL 정보를 활용한 온라인 볼록 프로그래밍 전략이 고전적 방법보다 더 빠르고 강건한 가중치 적응을 제공할 수 있을까?
• RQ4 정규화, 분해, 주파수 증가 등의 온라인 앙상블 설계 선택이 드리프트 하에서의 강건성에 어떤 영향을 미치는가?

주요 결과

• OneNet은 SOTA baselines에 비해 온라인 예측 오차를 크게 줄이는 것으로 나타났습니다(예: 네 개 데이터 세트에서 MSE/MAE 감소).
• cross-time 및 cross-variable의 두 흐름 앙상블에 RL 기반 가중치가 결합된 방식이 단일 모델 베이스라인 및 단순 앙상블 방법보다 우수합니다.
• RL 강화 OCP 블록은 장기 히스토리와 단기 적응 사이의 균형을 효과적으로 조절하여 컨셉 드리프트에 대한 반응성을 향상시킵니다.
• 분리된 학습은 두 예측기가 시간이 지나도 충분히 학습되도록 보장하여 상호 보완적 강점을 유지합니다.
• 애블레이션 연구는 제안된 설계 선택(예: 앙상블 가중치 전략)이 강건성과 정확도에 상당한 영향을 미친다는 것을 보여줍니다.
• 매개변수가 적은 OneNet 변형도 challenging 데이터 세트에서 여전히 이전 SOTA 결과를 능가합니다.