[论文解读] AutoAI-TS: AutoAI for Time Series Forecasting

Syed Yousaf Shah, Dhaval Patel+11 more|arXiv (Cornell University)|Feb 24, 2021

Time Series Analysis and Forecasting参考文献 18被引用 7

一句话总结

AutoAI-TS 是一个用于时间序列预测的零配置自动机器学习系统，通过基于管道的方法自动选择并优化多种模型——包括统计模型、机器学习模型、混合模型和深度学习模型——结合动态回溯窗口优化和一种新颖的 T-Daub 排名机制，实现端到端自动化。该系统在多种真实世界数据集上表现优于当前最先进工具包，且用户输入极少。

ABSTRACT

A large number of time series forecasting models including traditional statistical models, machine learning models and more recently deep learning have been proposed in the literature. However, choosing the right model along with good parameter values that performs well on a given data is still challenging. Automatically providing a good set of models to users for a given dataset saves both time and effort from using trial-and-error approaches with a wide variety of available models along with parameter optimization. We present AutoAI for Time Series Forecasting (AutoAI-TS) that provides users with a zero configuration (zero-conf ) system to efficiently train, optimize and choose best forecasting model among various classes of models for the given dataset. With its flexible zero-conf design, AutoAI-TS automatically performs all the data preparation, model creation, parameter optimization, training and model selection for users and provides a trained model that is ready to use. For given data, AutoAI-TS utilizes a wide variety of models including classical statistical models, Machine Learning (ML) models, statistical-ML hybrid models and deep learning models along with various transformations to create forecasting pipelines. It then evaluates and ranks pipelines using the proposed T-Daub mechanism to choose the best pipeline. The paper describe in detail all the technical aspects of AutoAI-TS along with extensive benchmarking on a variety of real world data sets for various use-cases. Benchmark results show that AutoAI-TS, with no manual configuration from the user, automatically trains and selects pipelines that on average outperform existing state-of-the-art time series forecasting toolkits.

研究动机与目标

• 解决从大量统计模型、机器学习模型和深度学习模型中选择并调优最佳时间序列预测模型的挑战。
• 通过零配置（zero-conf）系统消除模型选择、超参数调优和数据预处理的手动操作。
• 构建一个统一且可扩展的框架，将多种预测模型和转换方法整合到单一自动机器学习管道中。
• 通过动态优化模型特定的超参数和回溯窗口长度，提升异构时间序列数据上的预测准确性。
• 通过一种新颖的 T-Daub 机制对预测管道进行评估与排序，实现性能与效率之间的平衡。

提出的方法

• AutoAI-TS 采用零配置设计，自动处理数据准备、模型构建、超参数优化和模型选择，无需用户干预。
• 通过组合多种模型（包括 ARIMA、Prophet、N-BEATS、DeepAR 和 scikit-learn 兼容估计器）以及数据转换（如差分和展平）构建预测管道。
• 引入动态回溯窗口选择机制，根据输入数据特征自动确定机器学习模型的最佳历史上下文长度。
• T-Daub 机制基于对称平均绝对百分比误差（sMAPE）和执行时间对管道进行排序，实现对高性能管道的高效筛选。
• 针对不同模型类别定制超参数优化策略，采用领域特定的搜索方法以提升效率与效果。
• 所有模型均通过与 scikit-learn 兼容的 API 暴露，支持无缝集成与统一的用户交互。

实验结果

研究问题

• RQ1 一个零配置自动机器学习系统是否能在无需手动配置的情况下，超越现有最先进的时间序列预测工具包？
• RQ2 T-Daub 管道排序机制在识别多样化数据集上高性能预测管道方面的有效性如何？
• RQ3 动态回溯窗口优化在多大程度上能提升机器学习模型在时间序列预测中的预测准确性？
• RQ4 AutoAI-TS 在涵盖单变量与多变量、短序列与长序列的广泛真实世界时间序列数据上表现如何？
• RQ5 在不同模型类别中，自动化管道选择的预测准确性与计算效率之间存在何种权衡？

主要发现

• AutoAI-TS 在 9 个多元时间序列数据集上达到最先进性能，制造数据集上的平均 sMAPE 为 2.69，优于所有基线模型。
• 在汇率数据集上，AutoAI-TS 的 sMAPE 达到 0.46，显著低于 DeepAR（1.11）和 Prophet（130.28），表明其在金融时间序列上的卓越准确性。
• AutoAI-TS 中的 FlattenAutoEnsembler-log 管道在所有数据集上实现了最佳平均性能，沃尔玛销售数据集上的总体 sMAPE 为 9.88。
• 与基线模型相比，AutoAI-TS 将执行时间最多减少了 90%（如 N-BEATS 为 30,572 秒，PMD-Arima 为 115,870 秒），最佳管道在小型数据集上完成时间低于 1 秒。
• T-Daub 机制在 9 个数据集中的 8 个成功将最佳性能管道排在首位，且在 9 个案例中的 7 个中，排名第一的管道实现了最低的 sMAPE。
• 动态回溯窗口优化显著提升了模型性能，尤其对基于机器学习的模型（如 WindowSVR 和 WindowRandomForest）效果明显，这些模型在多个数据集上均表现出一致的性能提升。