[論文レビュー] Scale-Aware Neural Architecture Search for Multivariate Time Series Forecasting

Donghui Chen, Ling Chen+4 more|arXiv (Cornell University)|Dec 14, 2021

Time Series Analysis and Forecasting被引用数 5

ひとこと要約

本稿では、多変量時系列予測のためのスケールに配慮したニューラルアーキテクチャ探索フレームワーク、SNAS4MTFを提案する。この手法は、時系列を複数のスケールのサブ系列に分解し、各スケールで適応的グラフ学習を用いて変数間の異なる依存関係を同定する。本手法は、複数スケールの分解、動的依存関係モデリング、ニューラルアーキテクチャ探索を統合的に最適化し、実世界のデータセットにおいて最先端の性能を達成するとともに、多様な状況下での一般化性能が向上している。

ABSTRACT

Multivariate time series (MTS) forecasting has attracted much attention in many intelligent applications. It is not a trivial task, as we need to consider both intra-variable dependencies and inter-variable dependencies. However, existing works are designed for specific scenarios, and require much domain knowledge and expert efforts, which is difficult to transfer between different scenarios. In this paper, we propose a scale-aware neural architecture search framework for MTS forecasting (SNAS4MTF). A multi-scale decomposition module transforms raw time series into multi-scale sub-series, which can preserve multi-scale temporal patterns. An adaptive graph learning module infers the different inter-variable dependencies under different time scales without any prior knowledge. For MTS forecasting, a search space is designed to capture both intra-variable dependencies and inter-variable dependencies at each time scale. The multi-scale decomposition, adaptive graph learning, and neural architecture search modules are jointly learned in an end-to-end framework. Extensive experiments on two real-world datasets demonstrate that SNAS4MTF achieves a promising performance compared with the state-of-the-art methods.

研究の動機と目的

• 多変量時系列（MTS）予測のための、移植可能で状況に特化したニューラルアーキテクチャを設計する課題に対処すること。
• 複数の時間スケールにわたり、変数内および変数間の依存関係を効果的にモデル化すること。
• 手作業で設計されたアーキテクチャやドメイン特化の事前知識に依存せず、ニューラルアーキテクチャ探索によってアーキテクチャ発見を自動化すること。
• 複数スケールの時間的ダイナミクスとスケール固有の変数間関係を捉えることができる検索空間を設計すること。
• 分解、依存関係モデリング、アーキテクチャ探索の統合的エンドツーエンド学習を可能にし、予測精度を向上させること。

提案手法

• マルチスケール分解モジュールは、元のMTSを時間スケールごとにサブ系列に分割し、スケール固有のパターンを保持する。
• 適応的グラフ学習モジュールは、事前知識や固定された隣接行列なしに、各時間スケールごとに変数間の依存関係を動的に推定する。
• 各スケールで変数内および変数間の依存関係をモデル化するための最適な演算を選択できるように、カスタム検索空間を設計した。
• スケール全体にわたってエンドツーエンドでニューラルアーキテクチャ探索を実行し、分解、グラフ学習、アーキテクチャ選択を統合的に最適化する。
• 各スケールに対して、畳み込み、アテンション、GCNなどの異なる演算プールを用い、検索により最良な組み合わせを選択する。
• 微分可能探索戦略を用いてエンドツーエンドで訓練することで、効率的なアーキテクチャ発見が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルアーキテクチャ探索フレームワークは、多変量時系列におけるスケール固有の変数間依存関係を効果的に学習できるか？
• RQ2 マルチスケール分解は、MTS予測における時間的パターンのモデリングをどのように改善するか？
• RQ3 動的変数間関係を捉えるために、固定または事前に定義された隣接行列に代わって適応的グラフ学習が可能か？
• RQ4 分解、グラフ学習、アーキテクチャ探索のエンドツーエンド統合最適化は、手作業で設計されたアーキテクチャや固定アーキテクチャモデルよりも優れた性能を発揮するか？
• RQ5 検索結果は異なるデータセットでどのように変化し、スケール固有の依存関係について何を明らかにするか？

主な発見

• SNAS4MTFは、METR-LAおよびPEMS-BAYの両データセットで最先端の性能を達成し、全予測期間においてMAE、MAPE、RMSEのすべての指標で既存のSOTA手法を上回っている。
• METR-LAでは、15分予測のMAEが2.68、30分予測のMAEが3.03、60分予測のMAEが3.43であり、ベースラインより低い誤差を達成している。
• PEMS-BAYでは、15分予測のMAEが1.30、30分予測のMAEが1.61、60分予測のMAEが1.89であり、強力な一般化性能を示している。
• アブレーションスタディの結果、アテンションモジュールや畳み込みモジュールを削除すると性能が低下し、探索アーキテクチャにおけるそれらの重要性が確認された。
• ケーススタディの結果、スケールやデータセットごとに探索されたアーキテクチャが顕著に異なることが判明した—例えば、PEMS-BAYではGCN演算が好まれるのに対し、METR-LAではゼロ演算がより多く使われる—これはスケールに配慮した適応の可能性を示している。
• ハイパーパramータ分析の結果、隠れ層次元32およびノード埋め込み次元20が最適であり、それ以上の値では過学習が生じることがわかった。