[論文レビュー] AutoAI-TS: AutoAI for Time Series Forecasting

Syed Yousaf Shah, Dhaval Patel+11 more|arXiv (Cornell University)|Feb 24, 2021

Time Series Analysis and Forecasting参考文献 18被引用数 7

ひとこと要約

AutoAI-TS は、時間系列予測のためのゼロ構成 AutoML システムであり、統計的・機械学習・ハイブリッド・深層学習モデルを含む多様なモデルの間で、動的バックラッシュウィンドウ最適化と新規の T-Daub ランキング機構を用いたパイプラインベースのアプローチにより自動的に選択・最適化する。最小限のユーザー入力で多数の実世界データセットにおいて最先端のツールキットを上回る性能を発揮する。

ABSTRACT

A large number of time series forecasting models including traditional statistical models, machine learning models and more recently deep learning have been proposed in the literature. However, choosing the right model along with good parameter values that performs well on a given data is still challenging. Automatically providing a good set of models to users for a given dataset saves both time and effort from using trial-and-error approaches with a wide variety of available models along with parameter optimization. We present AutoAI for Time Series Forecasting (AutoAI-TS) that provides users with a zero configuration (zero-conf ) system to efficiently train, optimize and choose best forecasting model among various classes of models for the given dataset. With its flexible zero-conf design, AutoAI-TS automatically performs all the data preparation, model creation, parameter optimization, training and model selection for users and provides a trained model that is ready to use. For given data, AutoAI-TS utilizes a wide variety of models including classical statistical models, Machine Learning (ML) models, statistical-ML hybrid models and deep learning models along with various transformations to create forecasting pipelines. It then evaluates and ranks pipelines using the proposed T-Daub mechanism to choose the best pipeline. The paper describe in detail all the technical aspects of AutoAI-TS along with extensive benchmarking on a variety of real world data sets for various use-cases. Benchmark results show that AutoAI-TS, with no manual configuration from the user, automatically trains and selects pipelines that on average outperform existing state-of-the-art time series forecasting toolkits.

研究の動機と目的

• 幅広い統計的・機械学習・深層学習モデルの中から最適な時間系列予測モデルを選択・チューニングする課題に対処すること。
• ゼロ構成（zero-conf）システムにより、モデル選択・ハイパーパrameterチューニング・データ前処理の手作業を排除すること。
• 多様な予測モデルと変換を統合した単一の AutoML パイプラインに統合された包括的かつ拡張可能なフレームワークを構築すること。
• モデル固有のハイパーパrameterとバックラッシュウィンドウ長を動的に最適化することで、多様な時間系列データにおける予測精度を向上させること。
• 性能と効率のバランスを取る新しい T-Daub メカニズムを用いて、予測パイプラインの評価とランク付けを行うこと。

提案手法

• AutoAI-TS はゼロ構成設計を採用しており、ユーザーの干渉なしにデータ準備、モデル作成、ハイパーパrameter最適化、モデル選択を自動で処理する。
• 差分処理やフラットテーリングなどのデータ変換を含む、ARIMA や Prophet、N-BEATS、DeepAR、scikit-learn 互換推定器など多様なモデルを組み合わせて予測パイプラインを構築する。
• 機械学習モデルのための最適な歴史的コンテキスト長を入力データの特性に基づき自動的に決定する、動的バックラッシュウィンドウ選択機構を導入する。
• 対称平均絶対誤差パcent (sMAPE) と実行時間に基づき、T-Daub メカニズムがパイプラインをランク付けし、最良のパフォーマンスを発揮するパイプラインの効率的選択を可能にする。
• 各モデルクラスに応じたハイパーパラメータ最適化を実施し、分野特化の探索戦略を用いることで、効率性と有効性を向上させる。
• すべてのモデルが scikit-learn 互換 API を介して公開されており、シームレスな統合と一様なユーザーインターフェースを実現する。

実験結果

リサーチクエスチョン

• RQ1 ゼロ構成 AutoML システムは、手動による構成なしに、既存の最先端の時間系列予測ツールキットを上回ることができるか？
• RQ2 T-Daub パイプラインランク付け機構は、多様なデータセットにおいて高パフォーマンスの予測パイプラインを特定するのにどの程度有効か？
• RQ3 動的バックラッシュウィンドウ最適化は、機械学習ベースのモデルにおける時間系列予測の精度をどの程度向上させることができるか？
• RQ4 AutoAI-TS は、単変量および多変量、短いおよび長いシーケンスを含む広範な実世界の時間系列データにおいて、どの程度の性能を発揮するか？
• RQ5 異なるモデルクラスにおいて、自動パイプライン選択における予測精度と計算効率のトレードオフはどのようなものか？

主な発見

• AutoAI-TS は 9 つの多変量時間系列データセットで最先端の性能を達成し、製造業データセットでは平均 sMAPE 2.69 を記録し、すべてのベースラインモデルを上回った。
• 為替データセットでは sMAPE 0.46 を達成し、DeepAR (1.11) や Prophet (130.28) よりも顕著に低い値を示し、金融時間系列データにおける優れた精度を示した。
• AutoAI-TS 内の FlattenAutoEnsembler-log パイプラインが、全データセットで最高の平均パフォーマンスを発揮し、walmart-sale データセットでは全体で sMAPE 9.88 を達成した。
• AutoAI-TS は、N-BEATS (30,572s) や PMD-Arima (115,870s) といったベースラインモデルと比較して、実行時間を最大 90% 削減した。最良のパイプラインは、小規模データセットでは 1 秒未満で完了した。
• T-Daub メカニズムは 9 データセット中 8 つでトップパフォーマンスのパイプラインを正しくランク付けし、上位 1 位のパイプラインが 9 つのうち 7 つで最小の sMAPE を達成した。
• 動的バックラッシュウィンドウ最適化により、特に WindowSVR や WindowRandomForest といった機械学習ベースのモデルのパフォーマンスが顕著に向上し、複数のデータセットで一貫した改善が確認された。