[论文解读] Multi-Objective Model Selection for Time Series Forecasting

Oliver Borchert, David Salinas+3 more|arXiv (Cornell University)|Feb 17, 2022

Time Series Analysis and Forecasting被引用 7

一句话总结

本文提出ParetoSelect，一种新颖的多目标模型选择方法，通过在44个多样化数据集上的离线评估，学习最优时间序列预测模型的默认配置。通过在基准性能（准确率、延迟、训练时间）上训练代理模型，ParetoSelect无需重新训练即可从Pareto前沿识别高性能模型，显著降低选择成本，同时平衡多项指标。

ABSTRACT

Research on time series forecasting has predominantly focused on developing methods that improve accuracy. However, other criteria such as training time or latency are critical in many real-world applications. We therefore address the question of how to choose an appropriate forecasting model for a given dataset among the plethora of available forecasting methods when accuracy is only one of many criteria. For this, our contributions are two-fold. First, we present a comprehensive benchmark, evaluating 7 classical and 6 deep learning forecasting methods on 44 heterogeneous, publicly available datasets. The benchmark code is open-sourced along with evaluations and forecasts for all methods. These evaluations enable us to answer open questions such as the amount of data required for deep learning models to outperform classical ones. Second, we leverage the benchmark evaluations to learn good defaults that consider multiple objectives such as accuracy and latency. By learning a mapping from forecasting models to performance metrics, we show that our method PARETOSELECT is able to accurately select models from the Pareto front -- alleviating the need to train or evaluate many forecasting models for model selection. To the best of our knowledge, PARETOSELECT constitutes the first method to learn default models in a multi-objective setting.

研究动机与目标

• 解决在实际应用中平衡准确率、推理延迟、训练时间与模型大小的预测模型选择挑战。
• 提供一个全面且公开可用的基准，涵盖13种预测方法在44个异构数据集上的评估，覆盖多种性能指标。
• 开发一种基于离线评估学习未见数据集默认模型选择的方法，避免昂贵的重新训练。
• 实现多目标集成学习，提升准确率的同时保持低延迟和高效推理。
• 回答关于深度学习模型数据需求量及模型集成在预测中影响的开放性问题。

提出的方法

• 作者在44个公开数据集上对7种经典模型和6种深度学习模型进行了大规模基准测试，测量准确率（nCRPS）、推理延迟、训练时间与模型大小。
• 他们在离线基准数据上训练代理模型，以预测多项目标的性能，从而实现对未见数据集的泛化。
• ParetoSelect利用非支配排序与ε-网络聚类，基于预测性能识别Pareto前沿上多样化的一组模型。
• 该方法通过同时优化多个目标，利用代理模型预测的指标而非重新训练，选择默认模型。
• 提出一种集成策略，基于多目标性能组合模型，确保高准确率与低延迟。
• 代理模型被训练以预测模型在不同数据集上的性能，实现无需重新评估的快速、可扩展的默认选择。

实验结果

研究问题

• RQ1 深度学习模型需要多少训练数据才能优于经典预测方法？
• RQ2 模型集成是否能显著提升预测准确率，同时保持低推理延迟？
• RQ3 哪些数据集特征可预测最佳性能的预测模型？这些特征能否用于指导模型选择？
• RQ4 基于离线评估训练的代理模型能否准确预测新数据集在多项目标下的最优模型默认？
• RQ5 是否可能学习一种多目标模型选择策略，在避免重新训练的同时，在准确率、延迟与训练时间上均实现高性能？

主要发现

• 仅需数千个观测值，深度学习模型即可优于经典方法，表明其优势的低数据阈值。
• 在44个基准数据集中的14个上，经典方法与深度学习模型表现无显著差异，主要因高随机性或强季节性所致。
• 表现最佳的经典方法在不同数据集中各异（如ARIMA、ETS、STL-AR、NPTS），无在所有领域均占优的统一最优模型。
• 仅使用简单数据集分组特征（如领域类型，如零售、电力）无法可靠预测模型性能排名，表明其下隐藏着复杂模式。
• ParetoSelect成功从Pareto前沿识别出高性能模型，显著降低在新数据集上重新训练或重新评估的需求。
• 所提出的多目标集成策略在保持低推理延迟的同时实现高准确率，证明了平衡模型选择的可行性。