[論文レビュー] Multivariate, Multistep Forecasting, Reconstruction and Feature Selection of Ocean Waves via Recurrent and Sequence-to-Sequence Networks

Mohammad Pirhooshyaran, Lawrence Snyder|arXiv (Cornell University)|Jun 1, 2019

Oceanographic and Atmospheric Processes参考文献 57被引用数 9

ひとこと要約

本稿では、海洋波の特徴量（特に、有効波高（Hs）および波エネルギーflux（P））の多変量・多ステップ予測、欠損データの再構築、特徴選択を目的として、ベイジアンハイパーパramータ最適化とエラスティックネット正則化を組み合わせた新規なシーケンス・ツー・シーケンス深層学習フレームワークを提案する。この手法は、Hsデータの再構築において最先端の手法を上回り、エラスティックネットを組み込んだより深い再帰的アーキテクチャが特徴選択と予測精度を向上させることを示しており、AdamおよびAMSGradは最適化の安定性に優れていることが明らかになった。

ABSTRACT

This article explores the concepts of ocean wave multivariate multistep forecasting, reconstruction and feature selection. We introduce recurrent neural network frameworks, integrated with Bayesian hyperparameter optimization and Elastic Net methods. We consider both short- and long-term forecasts and reconstruction, for significant wave height and output power of the ocean waves. Sequence-to-sequence neural networks are being developed for the first time to reconstruct the missing characteristics of ocean waves based on information from nearby wave sensors. Our results indicate that the Adam and AMSGrad optimization algorithms are the most robust ones to optimize the sequence-to-sequence network. For the case of significant wave height reconstruction, we compare the proposed methods with alternatives on a well-studied dataset. We show the superiority of the proposed methods considering several error metrics. We design a new case study based on measurement stations along the east coast of the United States and investigate the feature selection concept. Comparisons substantiate the benefit of utilizing Elastic Net. Moreover, case study results indicate that when the number of features is considerable, having deeper structures improves the performance.

研究の動機と目的

• 有効波高（Hs）および波エネルギーflux（P）などの海洋波特徴量の多変量・多ステップ予測のための堅牢な深層学習フレームワークの開発を目的とする。
• 隣接するブイ局の情報を利用したシーケンス・ツー・シーケンスネットワークを用いて、欠損した波データを再構築する課題に取り組む。
• 多変量データセットからの予測力の高い入力特徴量を特定するために、再帰的アーキテクチャにエラスティックネットによる特徴選択を統合する。
• Spearmintベイジアン最適化を用いてモデル性能を評価・最適化し、複数の最適化アルゴリズム（Adam、AMSGrad、RMSProp、SGD）を比較する。

提案手法

• 2つのコアなアーキテクチャを提案：全結合層を含む1層または複数層の長短期記憶ネットワーク（LSTM+FCL）、およびエンコーダーとデコーダーに分離されたLSTMを有するシーケンス・ツー・シーケンス（seq2seq）モデル。
• 教師強制と段階的冷却を組み合わせたエポックスケジュールドトレーニング方式を導入し、時系列予測におけるトレーニングの安定性と一般化性能を向上させる。
• ガウス過程期待改善（GP-EI）を用いたSpearmintベイジアン最適化により、学習率、L1/L2正則化、ネットワークの深さなどのハイパーパramータを最適化する。
• 最終全結合層にエラスティックネット正則化を統合し、関連性の低い入力特徴量をゼロに近づけることで特徴選択を実現するとともに、重要な特徴量を保持する。
• 予測および再構築精度の包括的評価のため、RMSE、HUBER、MAAPEの複数の損失関数を用いる。
• 米国東海岸に位置するNOAAブイからの新規に整備されたデータセット（1局あたり53の特徴量）を用い、多変量回帰および特徴選択の実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 隣接するブイ局からの測定値のみを用いて、シーケンス・ツー・シーケンス再帰的ネットワークは、欠損した有効波高（Hs）および波エネルギーflux（P）データを効果的に再構築できるか？
• RQ2 エラスティックネット正則化の導入により、多変量海洋波予測における特徴選択とモデルの解釈可能性はどのように向上するか？
• RQ3 Adam、AMSGrad、RMSProp、SGDのうち、どの最適化アルゴリズムが海洋波時系列におけるseq2seqモデルのトレーニングにおいて、最も安定的かつ正確な性能を示すか？
• RQ4 より深い再帰的アーキテクチャ（複数層LSTM）は、単層モデルと比較して、より優れた予測および再構築性能を達成するか？
• RQ5 隣接するブイ局のHsデータのみで学習したモデルが、直接測定が得られないターゲット局のHsをどの程度正確に再構築できるか？

主な発見

• seqtoseq+ENモデルはHs再構築において最良の全体的性能を示し、RMSEが0.459 m、MAAPEが0.264に達し、ランダムフォレストを含むすべてのベースラインを上回った。
• AdamおよびAMSGrad最適化アルゴリズムは、複数の実験においてRMSPropおよびSGDと比較して、より優れたロバスト性と収束安定性を示した。
• 複数層LSTM+FCLおよびseqtoseqモデルは、単層モデルと比較して一貫して優れた性能を示し、特に長期予測および再構築タスクで顕著であった。
• エラスティックネット正則化により、seqtoseq+ENの非ゼロ特徴量数が58.2に削減され、モデルの解釈性が向上した一方で、高い精度を維持した。
• 隣接するブイ局のHsデータのみを用いても、ターゲット局のHsを高い精度で再構築できたことから、Hsデータそのものがターゲット局のHs再構築に十分であることが示された。
• Spearmintによるベイジアンハイパーパramータチューニングにより、seq2seqネットワークの最適な設定が特定され、λ1およびλ2が[0.001, 0.01]の範囲に位置する場合に最良の性能を示した。