[論文レビュー] AdaRNN: Adaptive Learning and Forecasting of Time Series

Yuntao Du, Jindong Wang+5 more|arXiv (Cornell University)|Aug 10, 2021

Time Series Analysis and Forecasting参考文献 56被引用数 36

ひとこと要約

AdaRNN は Temporal Covariate Shift (TCS) と 2 つのモジュール・フレームワーク（Temporal Distribution Characterization と Temporal Distribution Matching）を導入し、非定常時系列に対する RNN を適応させ、分類および回帰性能を向上させます。

ABSTRACT

Time series has wide applications in the real world and is known to be difficult to forecast. Since its statistical properties change over time, its distribution also changes temporally, which will cause severe distribution shift problem to existing methods. However, it remains unexplored to model the time series in the distribution perspective. In this paper, we term this as Temporal Covariate Shift (TCS). This paper proposes Adaptive RNNs (AdaRNN) to tackle the TCS problem by building an adaptive model that generalizes well on the unseen test data. AdaRNN is sequentially composed of two novel algorithms. First, we propose Temporal Distribution Characterization to better characterize the distribution information in the TS. Second, we propose Temporal Distribution Matching to reduce the distribution mismatch in TS to learn the adaptive TS model. AdaRNN is a general framework with flexible distribution distances integrated. Experiments on human activity recognition, air quality prediction, and financial analysis show that AdaRNN outperforms the latest methods by a classification accuracy of 2.6% and significantly reduces the RMSE by 9.0%. We also show that the temporal distribution matching algorithm can be extended in Transformer structure to boost its performance.

研究の動機と目的

• 非定常な時系列予測のための Temporal Covariate Shift (TCS) を定式化する。
• 分布の多様性を最大化する期間に時系列を分割し、共有知識を捉える。
• 発見された期間間で分布をマッチングすることにより、適応的な RNN ベースの予測モデルを学習する。

提案手法

• TCS を定義し、Temporal Distribution Characterization (TDC) と Temporal Distribution Matching (TDM) の2つのモジュールを備える AdaRNN を提案する。
• TDC は期間間の分布距離を最大化（最大エントロピー原理）することにより、系列を K 個の期間に分割する。
• TDM は、予測損失の最小化と、RNN 隠れ状態に適用される期間横断の分布マッチング正則化を併用して予測モデルを学習する。
• 分布マッチングのために各状態の重要度重み（alpha）を適応させるブースティングベースのスキームを導入する。
• 距離指標の柔軟性を認める（例：コサイン、MMD、adversarial）と、RNN の派生形（GRU／LSTM）に対応。
• Period discovery とネットワークパラメータおよび状態重要度の同時最適化を交互に行うエンドツーエンドの学習アルゴリズム（AdaRNN）を提供する。

実験結果

リサーチクエスチョン

• RQ1 時系列を時間的に変動する分布（TCS）の下でモデル化し、堅牢な予測を行うには？
• RQ2 時系列全体で共有される知識を捉えるため、分布の多様性が最大となる期間を自動的に発見できるか？
• RQ3 発見された期間間の分布マッチングは、RNNベースのモデルの予測一般化を改善するか？

主な発見

手法	ACC	P	R	F1	AUC
LightGBM	84.11	83.73	83.63	84.91	90.23
GRU	85.68	85.62	85.51	85.46	91.33
MMD-RNN	86.39	86.80	86.26	86.38	91.77
DANN-RNN	85.88	85.59	85.62	85.56	91.41
AdaRNN	88.44	88.71	88.59	88.63	93.19

• AdaRNN は非定常時系列設定における分類と回帰タスクで最先端ベースラインを上回る。
• UCI アクティビティ認識では、AdaRNN が最良のベースライン DANN-RNN よりも精度が 2.56% 向上し、F1 が 3.07% 向上した。
• 大気質および電力予測では、AdaRNN が各地点およびデータセット全体で顕著な RMSE/MAE の削減を達成。
• 時系列分布マッチングモジュールは、さらなる向上のために Transformer アーキテクチャへ拡張できる。
• AdaRNN は基礎となる RNN（ベーシック RNN、LSTM、GRU）および分布距離（コサイン、MMD、adversarial）に対してアガノスティック（独立）である。