[論文レビュー] Transfer learning to improve streamflow forecasts in data sparse regions

Roland Oruche, Lisa Egede+2 more|arXiv (Cornell University)|Dec 6, 2021

Hydrological Forecasting Using AI被引用数 11

ひとこと要約

本稿では、ケニアのオーバー・タナ川流域のようなデータが乏しい地域における流出予測の精度を向上させるために、微調整された長短期記憶（LSTM）ネットワークを用いた転移学習フレームワークを提案する。本手法は、米国CAMELS（データ豊富なソースドメイン）からケニアのTNC（小規模なターゲットドメイン）に知識を転送することで、静的流域特徴（例：標高、土壌タイプ、土地被覆）と動的気象入力（例：降水量、気温）を統合し、標準的なLSTMモデルに比べて顕著に予測性能を向上させる。

ABSTRACT

Effective water resource management requires information on water availability, both in terms of quality and quantity, spatially and temporally. In this paper, we study the methodology behind Transfer Learning (TL) through fine-tuning and parameter transferring for better generalization performance of streamflow prediction in data-sparse regions. We propose a standard recurrent neural network in the form of Long Short-Term Memory (LSTM) to fit on a sufficiently large source domain dataset and repurpose the learned weights to a significantly smaller, yet similar target domain datasets. We present a methodology to implement transfer learning approaches for spatiotemporal applications by separating the spatial and temporal components of the model and training the model to generalize based on categorical datasets representing spatial variability. The framework is developed on a rich benchmark dataset from the US and evaluated on a smaller dataset collected by The Nature Conservancy in Kenya. The LSTM model exhibits generalization performance through our TL technique. Results from this current experiment demonstrate the effective predictive skill of forecasting streamflow responses when knowledge transferring and static descriptors are used to improve hydrologic model generalization in data-sparse regions.

研究の動機と目的

• 限られた歴史的水文モニタリングによるデータが乏しい地域における流出予測精度の低さという課題に対処すること。
• SWATのような伝統的水文モデルが専門家の設定を必要とし、データが限られた環境では導入が難しいという制限を克服すること。
• 転移学習を用いて、地理的・気候的に異なる地域に一般化可能なディープラーニングフレームワークを開発すること。
• 最小限の現地データで、開発途上地域の水資金や関係者に信頼できる流出予測を提供することで、予測性能を向上させること。
• 静的流域特徴と動的気象入力を組み合わせた転移学習設定が、水文時系列予測にどのように有効であるかを実証すること。

提案手法

• 米国CAMELSデータセット（豊富な気象データおよび流域属性データを有する大規模ベンチマーク）上で、マルチレイヤー長短期記憶（LSTM）ネットワークを学習する。
• ケニアのザ・ネイチャー・コンサーヴェーショ（TNC）から得た小規模なターゲットデータセット上で、事前に学習されたLSTMモデルを微調整する。この際、動的入力（例：降水量、気温）と静的流域特徴（例：標高、土壌タイプ、土地被覆）の両方を用いる。
• 空間的および時間的モデリングのコンponentを分離し、流域特徴のカテゴリカルな記述子を用いて空間的ばらつきを符号化することで、異なる地域への一般化を向上させる。
• 検証指標を用いてトレーニングおよび微調整の過程でモデル重みを最適化し、ターゲットドメインへの頑健さと転送可能性を確保する。
• 複数の流域にわたって微調整済みモデルを再現し、ターゲット地域の未知の流域における一般化性能を評価する。
• 4つの条件を比較する標準化された評価プロトコルを用いる：標準LSTM、静的特徴なしの転移学習、静的特徴ありの転移学習、および転送なし。

実験結果

リサーチクエスチョン

• RQ1 データ豊富なソースドメイン（米国CAMELS）から転移学習を適用することで、データが乏しいターゲット地域（ケニア）における流出予測性能が向上するか？
• RQ2 静的流域特徴が、データが乏しい環境下でのLSTMモデルの一般化能力にどの程度寄与するか？
• RQ3 転移学習と静的特徴の組み合わせは、標準LSTMや静的特徴なしの転移学習に比べて、予測精度においてどのように差を示すか？
• RQ4 地理的・気候的に異なるソースドメインからターゲット地域に知識を転送する際、逆転移（negative transfer）の影響は何か？
• RQ5 1つの微調整済みLSTMモデルは、開発途上地域における未測定またはデータが乏しい複数の流域に効果的に一般化できるか？

主な発見

• TNCケニアデータセットにおいて、転移学習を強化したLSTM（LSTM_TL）モデルは、標準LSTMモデルに比べて顕著に優れた流出予測性能を示し、より現実的で正確な結果を得た。
• 転移学習の過程で静的流域特徴を組み込むことで、特に訓練データが限られた地域において、予測性能に明確な改善が見られた。
• 米国CAMELSのソースドメインからの知識を活用することで、データが少ない状況でもオーバー・タナ川流域内の異なる流域への一般化性能が向上した。
• 本フレームワークは、現地での広範なデータ収集や専門家の設定作業の必要性を低減し、水文モニタリングインfraが整わない開発途上地域への導入に適している。
• 結果から、静的特徴を併用した転移学習は、水文予測におけるデータの乏しさや不整合の影響を効果的に緩和できる可能性を示している。
• 本アプローチは、水資金や保全プログラムへの応用が有望であり、地域社会や生態系管理のためのより信頼性の高い水資源予測を可能にする。