[論文レビュー] Probing the limit of hydrologic predictability with the Transformer network

Jiangtao Liu, Yuchen Bian+1 more|arXiv (Cornell University)|Jun 21, 2023

Hydrological Forecasting Using AI被引用数 7

ひとこと要約

本研究では、CAMELSデータセットを用いて、Transformerネットワークが日常の流出予測に応用可能かどうかを調査し、LSTMと比較して、アンサンブルなしのTransformerと再帰なしの変種を検証した。vanilla Transformerは、水文的ダイナミクスと整合性のないマルコフ性のため性能が劣るが、再帰なしバージョンはLSTMと同等の性能を達成しており、注目メカニズムを用いた水文モデリングの今後の改善の可能性を示唆している。

ABSTRACT

For a number of years since its introduction to hydrology, recurrent neural networks like long short-term memory (LSTM) have proven remarkably difficult to surpass in terms of daily hydrograph metrics on known, comparable benchmarks. Outside of hydrology, Transformers have now become the model of choice for sequential prediction tasks, making it a curious architecture to investigate. Here, we first show that a vanilla Transformer architecture is not competitive against LSTM on the widely benchmarked CAMELS dataset, and lagged especially for the high-flow metrics due to short-term processes. However, a recurrence-free variant of Transformer can obtain mixed comparisons with LSTM, producing the same Kling-Gupta efficiency coefficient (KGE), along with other metrics. The lack of advantages for the Transformer is linked to the Markovian nature of the hydrologic prediction problem. Similar to LSTM, the Transformer can also merge multiple forcing dataset to improve model performance. While the Transformer results are not higher than current state-of-the-art, we still learned some valuable lessons: (1) the vanilla Transformer architecture is not suitable for hydrologic modeling; (2) the proposed recurrence-free modification can improve Transformer performance so future work can continue to test more of such modifications; and (3) the prediction limits on the dataset should be close to the current state-of-the-art model. As a non-recurrent model, the Transformer may bear scale advantages for learning from bigger datasets and storing knowledge. This work serves as a reference point for future modifications of the model.

研究の動機と目的

• Transformerが、LSTMのような既存のRNNと比較して、日常の流出予測において優れた性能を発揮できるかどうかを評価すること。
• Transformerが他の順序処理タスクで成功を収めているにもかかわらず、水文分野ではなぜ性能が劣るのかを調査すること。
• 特に再帰なしのアーキテクチャ変更が、水文モデリングにおけるTransformer性能の向上に寄与するかどうかを検討すること。
• 最先端の深層学習モデルを用いて、水文的予測可能性の理論的および実用的限界を解明すること。
• 複数の強制入力（例：降水量、気温）統合が、モデルの汎化性および性能向上に与える影響を評価すること。

提案手法

• CAMELSデータセットを用いて、日常の流出予測を目的とした標準（vanilla）Transformerエンコーダデコーダアーキテクチャを学習した。
• 再帰接続を排除し、自己注意メカニズムにのみ依存する再帰なしのTransformer変種を実装した。
• Kling-Gupta効率（KGE）を含む標準的な水文的指標を用いて、低流量および高流量条件下でのモデル性能を比較した。
• 複数の気象的強制入力（例：降水量、気温）の統合能力が、予測精度の向上に与える影響を評価した。
• 水文的システムのマルコフ性に関連する制限を理解するために、注目パターンとモデル行動を分析した。
• 公平な比較のため、先行ベンチマーク（例：CAMELS）と同一の訓練・検証・テスト分割を用いた。

実験結果

リサーチクエスチョン

• RQ1 アンサンブルなしのTransformerアーキテクチャは、CAMELSベンチマークにおける日常の流出予測でLSTMを上回る性能を達成できるか？
• RQ2 他の順序処理タスクで成功を収めているにもかかわらず、なぜ標準的なTransformerは水文的予測でLSTMを上回れないのか？
• RQ3 Transformerアーキテクチャから再帰を除去することで、水文時系列における性能が向上するか？
• RQ4 複数の強制入力統合は、水文分野におけるTransformerの予測能力をどの程度向上させられるか？
• RQ5 最先端の深層学習モデルによって明らかにされた、水文的予測可能性の理論的および実用的限界は何か？

主な発見

• vanilla Transformerは、短時間スケールの水文的ダイナミクスを効果的にモデル化できないため、特に高流量指標でLSTMに劣る性能を示した。
• 再帰なしのTransformer変種は、LSTMと同等の性能を達成しており、Kling-Gupta効率（KGE）およびその他の主要指標で一致した。
• vanilla Transformerに性能向上の余地がないのは、LSTMのような記憶を持つモデルに有利な、水文的システムのマルコフ性に起因する。
• TransformerとLSTMの両方が、複数の強制入力統合の恩恵を受けることから、データ統合がモデル性能の鍵要因であることが示された。
• 結果から、CAMELSデータセットにおける現在の最先端モデルは、水文的予測可能性の理論的限界に近づいている可能性がある。
• 再帰なしのTransformerは今後の研究において有望であり、より大きなデータセットからの学習におけるスケール利点や、再帰なしで長期依存関係を保存する可能性を秘めている。