[論文レビュー] EA-LSTM: Evolutionary Attention-based LSTM for Time Series Prediction

Youru Li, Zhenfeng Zhu+3 more|arXiv (Cornell University)|Nov 9, 2018

Time Series Analysis and Forecasting参考文献 22被引用数 23

ひとこと要約

本稿では、競争的ランダムサーチ（CRS）を用いて訓練される、進化的な注目メカニズムを備えたLSTMモデル、EA-LSTMを提案する。勾配降下法ではなくCRSによって注目重みを進化させることで、長期依存関係と局所的特徴関係を効果的に捉えることができ、SML 2010 や MSR Action3D といったベンチマークデータセットにおいて最先端の性能を達成した。

ABSTRACT

Time series prediction with deep learning methods, especially long short-term memory neural networks (LSTMs), have scored significant achievements in recent years. Despite the fact that the LSTMs can help to capture long-term dependencies, its ability to pay different degree of attention on sub-window feature within multiple time-steps is insufficient. To address this issue, an evolutionary attention-based LSTM training with competitive random search is proposed for multivariate time series prediction. By transferring shared parameters, an evolutionary attention learning approach is introduced to the LSTMs model. Thus, like that for biological evolution, the pattern for importance-based attention sampling can be confirmed during temporal relationship mining. To refrain from being trapped into partial optimization like traditional gradient-based methods, an evolutionary computation inspired competitive random search method is proposed, which can well configure the parameters in the attention layer. Experimental results have illustrated that the proposed model can achieve competetive prediction performance compared with other baseline methods.

研究の動機と目的

• 長期間にわたるシーケンスにおいて、関連するタイムステップ特徴に動的に注目できるように標準LSTMの限界を克服すること。
• 注目層の学習において勾配ベースの最適化が局所的最小値に陥るリスクを回避すること。
• 時系列的重要度のパターンを反映する注目重みを進化させることで、多次元時系列予測を改善すること。
• 特に進化的計算という訓練手法が、アーキテクチャの複雑化を凌駕して注目ベースの深層学習モデルを向上させられることを示すこと。
• 深層ニューラルネットワークの部分構造学習において、進化的計算の有効性を検証すること。

提案手法

• バックプロパゲーションに依存しないで、注目重みを進化させることで、LSTMに進化的な注目メカニズムを導入する。
• 勾配に依存しない進化的計算手法として、競争的ランダムサーチ（CRS）を用い、注目層のパラメータを最適化する。
• 時間ステップ間で共有パラメータを転送することで、シーケンス全体にわたる一貫性のある注目学習を可能にする。
• 選択や突然変異などの進化的操作を可能にするために、注目重みベクトルを2値表現に符号化する。
• ループ型の進化的プロセスを採用：ネットワークの性能による候補の注目重みの評価、上位成績者（チャンピオン）の選抜、再結合および突然変異による次世代の生成。
• 進化した注目重みをLSTMアーキテクチャに統合し、シーケンスモデリングの前に重み付き入力表現を生成する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースの最適化と比較して、進化的計算がLSTMにおける注目メカニズムの学習を改善できるか。
• RQ2 注目重みを進化させることで、多次元時系列における長期的および局所的時間的依存関係をよりよく捉えられるか。
• RQ3 DA-RNN や標準的な注目LSTMと比較して、EA-LSTMの予測精度はどの程度優れているか。
• RQ4 提案手法は、回帰および分類の両方の時系列タスクに一般化可能か。
• RQ5 競争的ランダムサーチ法は、注目層のパラメータ最適化において局所的最適解を回避するのに有効か。

主な発見

• MSR Action3Dデータセットにおいて、EA-LSTMは95.20%のテスト精度を達成し、ベースラインLSTM（90.67%）および注目LSTM（92.58%）を上回った。
• SML 2010ベンチマークでは、EA-LSTMが、最先端の注目ベースモデルであるDA-RNNよりも高い予測精度を示した。
• アブレーションスタディの結果、注目層でCRSを勾配降下法に置き換えた（注目LSTMを生成した）場合、性能が著しく低下したため、進化的最適化の利点が裏付けられた。
• 時間ステップごとの注目分布は、入力のダイナミクスに応じて適応的でソフトな特徴選択を示しており、情報量の多い特徴に高い注目が集まっていた。
• 複数のデータセットにおいても競争力ある性能を達成し、回帰および分類の両方の時系列タスクにおける堅牢性を確認した。
• 結果から、特に進化的計算を用いた訓練手法の改善が、アーキテクチャの複雑化を凌駕して注目ベースのモデルを効果的に向上させられると示唆された。