[論文レビュー] FDNet: A Deep Learning Approach with Two Parallel Cross Encoding Pathways for Precipitation Nowcasting

Biying Yan, Chao Yang+3 more|arXiv (Cornell University)|May 6, 2021

Flood Risk Assessment and Management参考文献 29被引用数 4

ひとこと要約

FDNetは、光学フロー場の運動と形態的変形を2つの並列のクロスエンコーディングパスに分離することで、降水量の短期予測のための新規な深層学習アーキテクチャを提案する。並列にモデル化された並進移動と形状の進化により、特に長期予測および豪雨時において最先端の性能を達成し、鮮明さ、正確性、時間的安定性の面で既存手法を上回る。

ABSTRACT

With the goal of predicting the future rainfall intensity in a local region over a relatively short period time, precipitation nowcasting has been a long-time scientific challenge with great social and economic impact. The radar echo extrapolation approaches for precipitation nowcasting take radar echo images as input, aiming to generate future radar echo images by learning from the historical images. To effectively handle complex and high non-stationary evolution of radar echoes, we propose to decompose the movement into optical flow field motion and morphologic deformation. Following this idea, we introduce Flow-Deformation Network (FDNet), a neural network that models flow and deformation in two parallel cross pathways. The flow encoder captures the optical flow field motion between consecutive images and the deformation encoder distinguishes the change of shape from the translational motion of radar echoes. We evaluate the proposed network architecture on two real-world radar echo datasets. Our model achieves state-of-the-art prediction results compared with recent approaches. To the best of our knowledge, this is the first network architecture with flow and deformation separation to model the evolution of radar echoes for precipitation nowcasting. We believe that the general idea of this work could not only inspire much more effective approaches but also be applied to other similar spatiotemporal prediction tasks

研究の動機と目的

• レーダー反射エコーのデータを用いた正確な短期的な降水量の短期予測の課題に対処すること。
• 全体的な運動と局所的変形を含む、複雑で非定常的なレーダー反射エコーの進化をモデル化すること。
• 予測の信頼性と鮮明さを向上させること、特に豪雨および長期予報の分野で。
• 光学フローと形態的変形を分離することで、より正確な空間時間的モデリングを実現すること。

提案手法

• FDNetは2つの並列のクロスエンコーディングパスを採用する：光学フロー場の運動を処理するフローエンコーダと、形態的変化を処理する変形エンコーダ。
• フローエンコーダは、光学フロー技術に基づくフロー推定モジュールを用いて、レーダー反射エコーの並進移動を捉える。
• 変形エンコーダは、形状に配慮したエンコーディング機構を用いて、蓄積、消散、拡張などの局所的形状変化をモデル化する。
• 両エンコーダの出力を連結し、共有デコーダに供給することで、将来のレーダー反射エコーの予測を実行する。
• ネットワークは、再構成損失を用いて実際のレーダー反射エコーの系列データ上でエンドツーエンドで学習される。
• アブレーションスタディにより、両パスの必要性が検証され、可視化結果からフローはグローバルな移動を、変形は局所的な強度変化を担うことが明らかになった。

実験結果

リサーチクエスチョン

• RQ1 光学フローと形態的変形を分離することで、降水量の短期予測性能が向上するか？
• RQ2 フローと変形の共同モデリングは、長期予測における画像のぼやけをどのように低減するか？
• RQ3 変形ブランチは、豪雨および新規積乱雲の発生予測においてどの程度効果を発揮するか？
• RQ4 2つの並列パスは、グローバルな運動と局所的な構造的変化をどの程度正確に捉えられるか？

主な発見

• FDNetは2つの実世界のレーダー反射エコーのデータセットで最先端の性能を達成し、定量的指標および視覚的品質の両面で最近のSOTA手法を上回った。
• アブレーションスタディにより、変形エンコーダを削除すると性能が著しく低下することが確認され、局所的進化を捉える上でその重要性が裏付けられた。
• 変形ブランチは、特に豪雨（例：50 dBZ以上）および新規積乱雲の発生予測において顕著に効果的であり、複雑な進化パターンの可視化でその有効性が示された。
• フロー・ブランチのみではFDNetと同等の結果が得られるが、豪雨予測においては依然として残差が生じており、二重パス設計の必要性が強調された。
• 可視化結果から、FDNetはベースラインモデルと比較して、特に長期予測においてより鮮明な予測を維持していることが明らかになった。
• モデルは、他のモデルが予測に失敗するような、同時的な消散と拡張といった挑戦的なダイナミクスを効果的に捉えた。