[論文レビュー] Few-shot Learning for Time-series Forecasting

Tomoharu Iwata, Atsutoshi Kumagai|arXiv (Cornell University)|Sep 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 49被引用数 12

ひとこと要約

本論文は、新しいターゲットタスクに適応するためにわずかなサポート時間系列サンプルしか使用しない、時間系列予測のための few-shot 学習手法を提案する。多様なソースタスクで訓練されたモデルは、再訓練なしに90のデータセットで最先端の性能を達成し、LSTM-MAML や LSTM-DI よりも優れた性能を発揮する。これは、少数の few-shot サポートセットから関連するパターンを効果的に抽出することで実現される。

ABSTRACT

Time-series forecasting is important for many applications. Forecasting models are usually trained using time-series data in a specific target task. However, sufficient data in the target task might be unavailable, which leads to performance degradation. In this paper, we propose a few-shot learning method that forecasts a future value of a time-series in a target task given a few time-series in the target task. Our model is trained using time-series data in multiple training tasks that are different from target tasks. Our model uses a few time-series to build a forecasting function based on a recurrent neural network with an attention mechanism. With the attention mechanism, we can retrieve useful patterns in a small number of time-series for the current situation. Our model is trained by minimizing an expected test error of forecasting next timestep values. We demonstrate the effectiveness of the proposed method using 90 time-series datasets.

研究の動機と目的

• 十分なターゲットタスクデータが入手できない場合の予測性能の悪化という課題に対処すること。
• 各新しいタスクに対してモデルを再訓練せずに、few-shot 適応を可能にすること。
• 最小限のサポートデータを用いて多様な時間系列ダイナミクスに一般化可能なメタラーニングフレームワークを開発すること。
• 注目メカニズムを用いて複数のソースタスク間の共有パターンを活用することで、予測精度を向上させること。
• 幅広い実世界の時間系列データセットにおいて、強靭性と効率性を示すこと。

提案手法

• モデルは、ターゲットタスクのわずかなサポート時間系列の表現を符号化するために双方向LSTMを用いる。
• クエリ時間系列は別個のLSTMで処理され、自身の時間的ダイナミクスを捉える。
• 注目メカニズムにより、サポート表現の上に文脈に応じた重みを計算し、予測に適した関連パターンに動的に注目する。
• 最終的な予測は、クエリの隠れ状態と重み付きサポート表現を組み合わせることで生成される。
• 複数のソースタスクにおける次ステップ予測の期待テスト誤差を最小化することで、モデルをエンドツーエンドで訓練する。
• 注目メカニズムのおかげで、変動する長さの時間系列と柔軟なサポートセットサイズをサポートする。

実験結果

リサーチクエスチョン

• RQ1 新しいタスクにおいて、そのタスクからのわずかな例しか使用しないメタラーニングモデルは、将来の時間系列値を予測できるか？
• RQ2 注目メカニズムは、標準的なファインチューニングやメタ特徴ベース手法と比較して、few-shot 時間系列予測をどのように改善するか？
• RQ3 再訓練なしに、多様な時間系列ダイナミクス（トレンド、サイクルなど）に一般化できるか？
• RQ4 トレーニングタスク数とサポートセットサイズの増加に伴い、性能はどのように変化するか？
• RQ5 実世界のデータセットにおいて、既存の few-shot および zero-shot 予測ベースラインを上回ることができるか？

主な発見

• 提案手法は、90のデータセットのうち62で最良のベースラインと統計的に差がない性能を達成し、比較されたすべての手法の中で最高の結果を示した。
• LSTM-MAML や LSTM-DI と比較して、全90のデータセットで優れた性能を発揮し、平均二乗誤差（RMSE）は0.285であった。これは、LSTM-MAMLの0.312およびLSTM-DIの0.387と比較して優れている。
• サポートセットサイズが変動しても、提案手法は低誤差を維持し、サポートサイズが増加するにつれて一貫した改善を示した。全設定でLSTM-MAMLを上回った。
• 金融、エネルギー、交通、センサーなどの多様な時間系列タイプにおいて、強靭性を示し、一貫した性能向上を達成した。
• トレーニング時間と推論時間ともに効率的で、提案手法はトレーニングに40,203秒、1テストタスクあたり15秒を要した。両方の指標でLSTM-MAMLを上回った。
• 可視化結果から、わずかなサポート例のみを用いても、モデルが時間系列の多様なダイナミクス（トレンド、周期性など）を正確に捉えていることが確認された。