[논문 리뷰] Multi-Objective Model Selection for Time Series Forecasting

Oliver Borchert, David Salinas외 3명|arXiv (Cornell University)|2022. 02. 17.

Time Series Analysis and Forecasting인용 수 7

한 줄 요약

이 논문은 44개의 다양한 데이터셋에서의 오프라인 평가를 활용하여 최적의 예측 모델 기본 설정을 학습하는 새로운 다목적 모델 선택 방법인 ParetoSelect을 소개한다. 정확도, 지연 시간, 학습 시간 등의 성능 기준을 기반으로 벤치마크된 성능(정확도, 지연 시간, 학습 시간)에 기반한 서rogate 모델을 훈련시켜 재학습 없이도 파레토 최적 해상에서 고성능 모델을 식별함으로써, 다수의 목표를 균형 있게 고려하면서도 선택 과정의 노력과 비용을 크게 줄인다.

ABSTRACT

Research on time series forecasting has predominantly focused on developing methods that improve accuracy. However, other criteria such as training time or latency are critical in many real-world applications. We therefore address the question of how to choose an appropriate forecasting model for a given dataset among the plethora of available forecasting methods when accuracy is only one of many criteria. For this, our contributions are two-fold. First, we present a comprehensive benchmark, evaluating 7 classical and 6 deep learning forecasting methods on 44 heterogeneous, publicly available datasets. The benchmark code is open-sourced along with evaluations and forecasts for all methods. These evaluations enable us to answer open questions such as the amount of data required for deep learning models to outperform classical ones. Second, we leverage the benchmark evaluations to learn good defaults that consider multiple objectives such as accuracy and latency. By learning a mapping from forecasting models to performance metrics, we show that our method PARETOSELECT is able to accurately select models from the Pareto front -- alleviating the need to train or evaluate many forecasting models for model selection. To the best of our knowledge, PARETOSELECT constitutes the first method to learn default models in a multi-objective setting.

연구 동기 및 목표

• 실제 응용에서 정확도, 추론 지연 시간, 학습 시간, 모델 크기 간의 균형을 고려한 예측 모델 선택 과제를 해결하기 위해.
• 13종의 예측 방법을 44개의 이질적인 데이터셋에 대해 평가하는 종합적이고 공개 가능한 벤치마크를 제공하기 위해.
• 재학습이 비용이 많이 들기 때문에, 오프라인 평가를 활용해 새로운 데이터셋에 대한 기본 모델 선택을 학습하는 방법을 개발하기 위해.
• 높은 정확도를 유지하면서도 낮은 지연 시간과 효율적인 추론을 보장하는 다목적 앙상블 학습을 가능하게 하기 위해.
• 딥 러닝 모델에 필요한 데이터의 양에 대한 열린 질문과 앙상블의 영향에 대해 해결하기 위해.

제안 방법

• 저자는 44개의 공개 데이터셋에서 7종의 고전적 모델과 6종의 딥 러닝 모델을 대규모로 벤치마크하여 정확도(nCRPS), 추론 지연 시간, 학습 시간, 모델 크기를 측정한다.
• 오프라인 벤치마크 데이터에 기반해 성능 예측을 위한 서rogate 모델을 훈련시켜, 새로운 데이터셋으로의 일반화를 가능하게 한다.
• ParetoSelect는 비지배적 정렬과 이psilon-넷 클러스터링을 사용하여 예측 성능 기반으로 파레토 최적 해상에서 다양한 모델 세트를 식별한다.
• 재학습 없이도 예측된 지표를 활용해 서rogate 모델의 예측 성능을 기반으로 다중 목표를 동시에 최적화하여 기본 모델을 선택한다.
• 다목적 성능 기반으로 모델을 조합하는 앙상블 전략을 제안하여 높은 정확도와 낮은 지연 시간을 동시에 확보한다.
• 서rogate 모델은 다양한 데이터셋에서의 모델 성능을 예측하도록 훈련되어, 재평가 없이도 빠르고 확장 가능한 기본 설정 선택이 가능하다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 고전적 예측 방법을 능가하기 위해 얼마나 많은 학습 데이터가 필요한가?
• RQ2 모델 앙상블이 높은 예측 정확도를 달성하면서도 낮은 추론 지연 시간을 유지할 수 있는가?
• RQ3 어떤 데이터셋 특성이 최고 성능을 내는 예측 모델을 예측할 수 있으며, 이를 모델 선택을 안내하는 데 사용할 수 있는가?
• RQ4 오프라인 평가 데이터에 기반한 서rogate 모델이 새로운 데이터셋에 대해 다수의 목표 기반으로 최적의 기본 설정을 정확히 예측할 수 있는가?
• RQ5 재학습 없이도 정확도, 지연 시간, 학습 시간에서 높은 성능을 달성할 수 있는 다목적 모델 선택 전략을 학습하는 것이 가능한가?

주요 결과

• 딥 러닝 모델이 고전적 방법을 능가하기 위해 필요한 관측 수는 몇 천 개에 불과하여, 그 이점이 나타나는 낮은 데이터 임계값이 있음을 시사한다.
• 44개의 벤치마크 데이터셋 중 14개에서 고전적 모델과 딥 러닝 모델의 성능은 구분되지 않으며, 주로 높은 확률적 변동성이나 강한 계절성 때문에 발생한다.
• 최고 성능을 내는 고전적 방법은 데이터셋에 따라 달라지며(예: ARIMA, ETS, STL-AR, NPTS), 모든 영역에서 일관된 최고 성능을 내는 모델은 존재하지 않는다.
• 도메인 유형(예: 소매, 전력)과 같은 단순한 데이터셋 그룹화 특성은 모델 성능 순위를 신뢰성 있게 예측하지 못하며, 이는 복잡한 잠재 패턴을 반영한다.
• ParetoSelect는 파레토 최적 해상에서 높은 정확도로 모델을 성공적으로 식별하여, 새로운 데이터셋에 대해 재학습이나 재평가가 필요로 하는 경우를 줄였다.
• 제안된 다목적 앙상블 전략은 높은 정확도를 달성하면서도 낮은 추론 지연 시간을 유지하여 균형 잡힌 모델 선택의 가능성을 입증했다.