[論文レビュー] Flipped Classroom: Effective Teaching for Time Series Forecasting

Philipp Teutsch, Patrick Mäder|arXiv (Cornell University)|Oct 17, 2022

Time Series Analysis and Forecasting被引用数 4

ひとこと要約

本論文は、時系列予測における系列対系列RNNの学習のための新しいcurriculum learning (CL)フレームワークを提案する。教師強制（TF）およびフリーラン（FR）学習における露出バイアスと不安定性を克服するため、増加する学習スケールおよび確率的イテレーションスケールのcurriculumを導入している。本手法は、6つのカオス的力学系において、NRMSEが最大81%低減され、予測安定性が向上し、TFおよびFRを常に上回る性能を発揮する。

ABSTRACT

Sequence-to-sequence models based on LSTM and GRU are a most popular choice for forecasting time series data reaching state-of-the-art performance. Training such models can be delicate though. The two most common training strategies within this context are teacher forcing (TF) and free running (FR). TF can be used to help the model to converge faster but may provoke an exposure bias issue due to a discrepancy between training and inference phase. FR helps to avoid this but does not necessarily lead to better results, since it tends to make the training slow and unstable instead. Scheduled sampling was the first approach tackling these issues by picking the best from both worlds and combining it into a curriculum learning (CL) strategy. Although scheduled sampling seems to be a convincing alternative to FR and TF, we found that, even if parametrized carefully, scheduled sampling may lead to premature termination of the training when applied for time series forecasting. To mitigate the problems of the above approaches we formalize CL strategies along the training as well as the training iteration scale. We propose several new curricula, and systematically evaluate their performance in two experimental sets. For our experiments, we utilize six datasets generated from prominent chaotic systems. We found that the newly proposed increasing training scale curricula with a probabilistic iteration scale curriculum consistently outperforms previous training strategies yielding an NRMSE improvement of up to 81% over FR or TF training. For some datasets we additionally observe a reduced number of training iterations. We observed that all models trained with the new curricula yield higher prediction stability allowing for longer prediction horizons.

研究の動機と目的

• 時系列予測における系列対系列RNNの教師強制（TF）における露出バイアスと、フリーラン（FR）学習における不安定性を解消すること。
• 学習スケールとイテレーションスケジュールを体系的にバランスさせることで、学習安定性と一般化性能を向上させるcurriculum learning（CL）戦略の開発。
• カオス的力学系に由来する挑戦的な連続的時系列データにおける、新規curriculumの有効性の評価。
• NRMSEおよび予測ホライズンの安定性という観点から、CL戦略が標準的なTFおよびFRベースラインを上回る条件の特定。
• curriculumパラメータ設定および確率的スケジューリングが収束性および耐性に与える影響の探求。

提案手法

• 増加する学習スケールcurriculumと確率的イテレーションスケールcurriculumの2つの新しいcurriculum learning戦略を提案。
• CL-ITF-PおよびCL-ITF-Dを導入し、それぞれ幾何分布と決定的減衰を用いて教師強制ギャップを動的に調整。
• 時間経過に伴いTFギャップを減少させるcurriculum関数を採用し、TFからFRへの制御された段階的移行を実現。
• LorenzやRösslerなどのカオス的システムから得た6つのベンチマークデータセットを用い、さまざまな学習体制下でのモデル性能を評価。
• curriculumの進行速度を制御するための追加の1つのハイパーパrameterを採用し、一貫した性能向上を実現。
• 多段階予測タスクにおける主な評価指標としてNRMSEおよび予測ホライズンの安定性を用いる。

実験結果

リサーチクエスチョン

• RQ1 curriculum learning戦略は、学習安定性を損なうことなく、RNNベースの時系列予測における露出バイアスを効果的に軽減できるか？
• RQ2 増加する学習スケールおよび確率的イテレーションスケールcurriculumは、教師強制およびフリーランベースラインと比較して、NRMSEおよび予測安定性の観点でどのように差をつけるか？
• RQ3 curriculumパラメータ設定が、カオス的時系列における収束性の強化および一般化性能の向上に果たす役割は何か？
• RQ4 なぜ一部のデータセットではTFが、他のデータセットではFRが好まれるのか？ また、統一されたcurriculum戦略が両者を上回るのか？
• RQ5 新規curriculumは、より長い予測ホライズンで、より高い正確性と安定性を実現するにあたり、どの程度の効果を発揮するか？

主な発見

• 確率的イテレーションスケールスケジューリングを用いた増加する学習スケールcurriculumは、教師強制およびフリーラン学習を常に上回り、平均してNRMSEが最大81%低減された。
• 新規curriculumで学習されたモデルは、より高い予測安定性を示し、長時間予測の信頼性を高めた。
• 一部のデータセットでは、新規curriculumにより必要な学習イテレーション回数が減少し、収束が速くなった。
• 確率的バージョン（CL-ITF-P）は、幾何分布に起因する初期学習段階でのばらつきがやや大きかったが、全体的な性能は優れていた。
• 新規curriculumは多様なカオス的システムにわたり強固であり、6つのベンチマークデータセットすべてで性能向上が観察された。
• curriculumの進行速度を制御するための追加の1つのハイパーパrameterのみを必要としており、統合およびチューニングが容易であることが示された。