[論文レビュー] Self-boosted Time-series Forecasting with Multi-task and Multi-view Learning

Long Hoang Nguyen, Zhenhe Pan+4 more|arXiv (Cornell University)|Sep 16, 2019

Time Series Analysis and Forecasting被引用数 9

ひとこと要約

本稿では、EEMDを用いて生時系列を内因的モード関数（IMF）に分解し、密接に関連するIMFに対してマルチタスク学習、緩やかに関連するIMFに対してマルチビュー学習を適用することで、予測精度を向上させる自己強化型時系列予測モデルを提案する。本手法は、外部特徴量やドメイン知識を一切用いず、3つの実世界データセットにおいて最先端のモデルを上回り、RMSE値が低く抑えられ、平均で29.4%の精度向上を達成した。

ABSTRACT

A robust model for time series forecasting is highly important in many domains, including but not limited to financial forecast, air temperature and electricity consumption. To improve forecasting performance, traditional approaches usually require additional feature sets. However, adding more feature sets from different sources of data is not always feasible due to its accessibility limitation. In this paper, we propose a novel self-boosted mechanism in which the original time series is decomposed into multiple time series. These time series played the role of additional features in which the closely related time series group is used to feed into multi-task learning model, and the loosely related group is fed into multi-view learning part to utilize its complementary information. We use three real-world datasets to validate our model and show the superiority of our proposed method over existing state-of-the-art baseline methods.

研究の動機と目的

• 外部のドメイン特化特徴量や複雑なハイパーパramータチューニングに依存せずに、高精度な時系列予測を実現する挑戦に応えること。
• 元の時系列から導出された内因的信号成分を活用することで、モデルの一般化性能と予測精度を向上させること。
• マルチタスク学習とマルチビュー学習を統合的なフレームワークに組み込み、関連するおよび補完的な信号成分を効果的に活用すること。
• EEMD分解から得られる自己生成特徴量が、多次元時系列予測におけるディープラーニングモデルの性能向上に寄与することを実証すること。

提案手法

• アンサンブル経験的モード分解（EEMD）アルゴリズムを用いて、元の時系列を複数の内因的モード関数（IMF）と残差に分解する。
• 元の時系列との類似度に基づいてIMFをクラスタリングし、マルチタスク学習に適した「密接に関連する」グループと、マルチビュー学習に適した「緩やかに関連する」グループに分類する。
• 密接に関連するIMFを用いてマルチタスク学習モデルを訓練し、表現の共有により一般化性能を向上させる。
• 緩やかに関連するIMFを用いてマルチビュー学習コンponentを訓練し、異なる信号成分間の補完的パターンを捉える。
• マルチタスクとマルチビューのコンponentを共同で最適化するための統合目的関数を用いて、同時に学習を実行し、予測性能を強化する。
• k-meansクラスタリングを用いた特徴選択を実施し、RMSEを低減するIMFを特定・保持することで、モデルの効率性と精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 EEMD分解から得られる自己生成特徴量は、外部データやドメイン知識を一切用いず、時系列予測性能を向上させることができるか？
• RQ2 分解された信号成分に対してマルチタスク学習とマルチビュー学習を組み合わせることで、単一パラダイムモデルと比較して予測精度にどのような影響を与えるか？
• RQ3 個々の内因的モード関数（IMF）が全体のモデル性能に果たす相対的寄与度は何か？また、特徴選択により性能向上が達成可能か？
• RQ4 提案された自己強化メカニズムは、多様な時系列データセットにおいて一貫して最先端のモデルを上回る性能を発揮するか？

主な発見

• 自己強化モデルは、電力消費、気温、為替レートの各データセットで、それぞれRMSE値91.1300、1.5910、0.0082を達成し、最良のベースラインモデルを上回った。
• 3つのデータセット全体で、最良のベースラインモデルと比較してRMSEを平均29.4%低減した。特に気温データおよび為替レートデータで最大の改善が見られた。
• マルチタスク学習バリアント（MTL）単体では、完全な自己強化モデルより性能が悪く、マルチビュー学習が性能向上に顕著に寄与していることが示された。
• マルチビュー学習バリアント（MTV）は、時間ラグ1では完全モデルと同等の性能を示したが、長時間ラグでは性能が劣り、共同でのコトレーニングの利点が裏付けられた。
• RMSE係数分析の結果、一部のIMFが性能に悪影響を与えていたことが判明。このようなIMFを特徴選択で除外することで、モデルの効率性と精度が向上した。
• IMFの組み合わせを増やすことでモデル性能は向上するが、ある閾値を超えると性能が低下する傾向が見られた。これは、知的なIMF選択の重要性を示唆している。