[論文レビュー] Reinforcement Learning based dynamic weighing of Ensemble Models for Time Series Forecasting

Satheesh K. Perepu, Bala Shyamala Balaji+3 more|arXiv (Cornell University)|Aug 20, 2020

Time Series Analysis and Forecasting被引用数 5

ひとこと要約

本論文は、時系列予測におけるアンサンブルモデル重みの動的調整を目的とした強化学習（RL）ベースの手法を提案している。局所的データ特徴に適応可能な動的応答を可能にする。重み調整を段階的意思決定問題として扱い、RLエージェントはリアルタイムで予測誤差を最小化するよう学習し、次善の手法（0.143 対 0.256）に対して 44.1% の NMSE の改善を達成した。オンライン設定における優れた精度と適応性を示している。

ABSTRACT

Ensemble models are powerful model building tools that are developed with a focus to improve the accuracy of model predictions. They find applications in time series forecasting in varied scenarios including but not limited to process industries, health care, and economics where a single model might not provide optimal performance. It is known that if models selected for data modelling are distinct (linear/non-linear, static/dynamic) and independent (minimally correlated models), the accuracy of the predictions is improved. Various approaches suggested in the literature to weigh the ensemble models use a static set of weights. Due to this limitation, approaches using a static set of weights for weighing ensemble models cannot capture the dynamic changes or local features of the data effectively. To address this issue, a Reinforcement Learning (RL) approach to dynamically assign and update weights of each of the models at different time instants depending on the nature of data and the individual model predictions is proposed in this work. The RL method implemented online, essentially learns to update the weights and reduce the errors as the time progresses. Simulation studies on time series data showed that the dynamic weighted approach using RL learns the weight better than existing approaches. The accuracy of the proposed method is compared with an existing approach of online Neural Network tuning quantitatively through normalized mean square error(NMSE) values.

研究の動機と目的

• アンサンブルモデルにおける静的重み付けの限界、すなわち局所的データ特徴や時間経過に伴うモデル性能の変化に適応できない点を是正すること。
• 予測誤差とデータコンテキストに基づき、リアルタイムでモデル重みを更新するオンラインで動的重み付け機構を開発すること。
• 固定またはバッチ最適化された重みではなく、RLを用いてアンサンブル重みを適応的に最適化することで、時系列予測の精度を向上させること。
• リアルタイムでのモデル選択と重み調整を可能にし、任意の時刻における最も関連性の高いモデルを特定できること。
• 静的およびオンライン学習ベースラインと比較して、RLに基づく動的重み付けが単変量時系列予測において実用的で優れた性能を示す可能性を実証すること。

提案手法

• 動的重み調整をマークフ・意思決定過程（MDP）として定式化し、状態は個々のモデルの予測誤差と現在の時刻ステップで定義される。
• 行動空間はアンサンブル内の各モデルに割り当てられる重みから構成され、全体の予測誤差を最小化することが目的である。
• Q関数の近似にディープQネットワーク（DQN）を用い、ネットワークの入力は現在の状態（予測誤差）であり、出力は各行動（重みベクトル）に対するQ値である。
• 報酬関数は、各時刻ステップにおける正規化平均二乗誤差（NMSE）の負の値として定義され、エージェントが誤差を最小化するよう励ます。
• モデルはオンラインで学習され、各新しいデータサンプルの後、経験再生とターゲットネットワークを用いて学習を安定化させる。
• 最終的な重みはアンサンブル予測に適用され、新しいデータが到着するたびに継続的に適応される。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、時系列予測におけるアンサンブルモデルに、効果的に時間変動する重みを学習できるか？
• RQ2 予測精度の観点から、RLに基づく動的重み付けは、静的重み付けおよびオンラインニューラルネットワークチューニングと比較してどの程度優れているか？
• RQ3 非線形トレンドや周期性などの時系列データの局所的特徴に、RLエージェントが重みを適応的に調整することで適応できるか？
• RQ4 RLベースの手法の計算オーバーヘッドはどの程度で、リアルタイムのオンライン予測応用に適しているか？
• RQ5 RL手法は、任意の時刻における最も関連性の高いモデルを特定でき、アンサンブル意思決定における解釈可能性を提供できるか？

主な発見

• 提案されたRLベースの動的重み付け手法は、テストセットでNMSE 0.143を達成し、次善の手法（オンラインニューラルネットワークチューニング）のNMSE 0.256を著しく上回った。
• オンラインNNベースラインと比較して、NMSEを44.1%削減し、予測精度の顕著な向上を示した。
• 個々のモデルの中で最も優れた性能を示したのはANN（NMSE 0.26）であったが、RL重み付けを施したアンサンブルはこれを上回り、効果的なモデル結合が実現した。
• RLを用いた重み計算の平均処理時間は1サンプルあたり0.2秒であり、サンプリング周期が0.2秒未満のリアルタイム応用には実用的である。
• 動的重み更新と訓練およびテストフェーズにおける真値との予測の一致度の向上から、RLエージェントが局所的データ特徴に適応したことが裏付けられた。
• 学習された重みが各時刻ステップでどのモデルが最も影響力を持っているかを明らかにするため、リアルタイムでのモデル同定が可能である。