[論文レビュー] A Variational U-Net for Weather Forecasting

Pak Hay Kwok, Qi Qi|arXiv (Cornell University)|Nov 5, 2021

Meteorological Phenomena and Simulations参考文献 9被引用数 6

ひとこと要約

この論文では、確率的潜在空間を有する変分オートエンコーダー（VAE）と、スキップ接続を持つU-Netの特徴を組み合わせた変分U-Netを提案する。このモデルは、全地域に共通する1つのモデルを用い、統合されたデータで学習することで、地域別モデルを著しく上回る性能を発揮し、Weather4cast 2021のコアおよびトランスファーレーニングチャレンジで第3位を達成した。

ABSTRACT

Not only can discovering patterns and insights from atmospheric data enable more accurate weather predictions, but it may also provide valuable information to help tackle climate change. Weather4cast is an open competition that aims to evaluate machine learning algorithms' capability to predict future atmospheric states. Here, we describe our third-place solution to Weather4cast. We present a novel Variational U-Net that combines a Variational Autoencoder's ability to consider the probabilistic nature of data with a U-Net's ability to recover fine-grained details. This solution is an evolution from our fourth-place solution to Traffic4cast 2020 with many commonalities, suggesting its applicability to vastly different domains, such as weather and traffic.

研究の動機と目的

• 地球静止衛星データから確率的でマルチステップの気象予測を可能にする深層学習モデルの開発。
• 大気の動的不安定性と確率的性質を、確率的深層学習アーキテクチャによって扱う。
• 全地域のデータを統合して1つのモデルを学習させることで、多様な地理的領域における一般化性能の向上。
• 交通予測（Traffic4cast）で使用されたU-Netベースのアーキテクチャが、気象予測（Weather4cast）にどの程度適用可能かを評価すること。
• ドロップアウト、マックスプーリング、VAEスタイルのボトルネックといったアーキテクチャ的要因がモデル性能に与える影響を調査すること。

提案手法

• モデルは、Denseブロック、2次元畳み込み、ELU活性化関数、グループ正則化、およびエンコーダーとデコーダーの両方で2次元ドロップアウトを用いたU-Netエンコーダー・デコーダー構造を採用している。
• 標準的なU-Netのボトルネック層に代わり、変分オートエンコーダー（VAE）コンponentを導入し、ガウス分布の平均と対数分散を表す潜在ベクトルを学習する。
• 再パラメータライゼーショントリックを適用して、学習された潜在分布からサンプリングし、確率的順伝播と不確実性モデリングを可能にする。
• エンコーダーとデコーダーの各層間にスキップ接続を設け、空間的詳細の保持と特徴量の回復を向上させる。
• 再構成損失とKLダイバージェンスの組み合わせを用いて、VAEの目的関数を最適化するため、エンドツーエンドで学習する。
• 6つのWeather4cast地域の全データを統合して1つのモデルを学習し、最終的な順位付け提出のため、バリデーションデータ上で追加のファインチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 変分U-Netアーキテクチャは、気象予測における大気状態遷移の確率的性質を効果的にモデル化できるか？
• RQ2 VAEスタイルのボトルネックを統合することで、決定的U-Netと比較して不確実性推定と一般化性能がどのように向上するか？
• RQ3 複数の地理的に異なる地域のデータを統合して1つの統一モデルを学習させることで、地域別モデルを上回る性能が得られるか？
• RQ4 交通予測（例：ドロップアウトや正則化付きのU-Net）で使用されたアーキテクチャ的要素が、気象予測にどの程度成功裏に転送可能か？
• RQ5 バリデーションデータ上でファインチューニングを実施することで、未知のテストデータに対する確率的気象予測の性能がさらに向上するか？

主な発見

• 変分U-Netは、Weather4cast 2021のコアおよびトランスファーレーニングチャレンジで第3位を達成し、トランスファーレーニングチャレンジの最終順位スコアは0.4670であった。
• 6地域分の全データを統合して1つのモデルを学習させたことで、地域別モデルと比較してテスト順位表上での性能が約2.3%向上した。
• バリデーションデータ上で最終モデルをファインチューニングしたことで、トランスファーレーニングチャレンジの最終順位スコアが0.5102から0.4670に改善された。
• ドロップアウト層の導入および平均プーリングからマックスプーリングへの変更が、一般化性能の向上と過学習の低減に寄与した。
• 温度の線形補間がバリデーションスコアの向上に寄与したが、最終順位表のスコア向上には結びつかなかった。
• Traffic4castの解決策から変更を加えたモデルアーキテクチャは、データダイナミクスの違いにもかかわらず、ドメイン間での強力な転送性を示した。