[論文レビュー] PTCT: Patches with 3D-Temporal Convolutional Transformer Network for Precipitation Nowcasting

Ziao Yang, Xiangrui Yang+1 more|arXiv (Cornell University)|Dec 2, 2021

Precipitation Measurement and Analysis被引用数 4

ひとこと要約

本稿では、ラジオロジカルエコー画像をパッチに分割することで畳み込みニューラルネットワーク（CNN）のインダクティブバイアスを克服し、短時間の空間時間的依存関係を捉えるために3次元時間的畳み込みを用いる、新しい3次元時間的畳み込みTransformerネットワークPTCTを提案する。PTCTは、パッチベースの表現と自己回帰的推論を組み合わせることで、ラジオロジカルエコー広州およびHKO-7データセットで最先端の性能を達成し、高品質な降水量予測を実現する。

ABSTRACT

Precipitation nowcasting is to predict the future rainfall intensity over a short period of time, which mainly relies on the prediction of radar echo sequences. Though convolutional neural network (CNN) and recurrent neural network (RNN) are widely used to generate radar echo frames, they suffer from inductive bias (i.e., translation invariance and locality) and seriality, respectively. Recently, Transformer-based methods also gain much attention due to the great potential of Transformer structure, whereas short-term dependencies and autoregressive characteristic are ignored. In this paper, we propose a variant of Transformer named patches with 3D-temporal convolutional Transformer network (PTCT), where original frames are split into multiple patches to remove the constraint of inductive bias and 3D-temporal convolution is employed to capture short-term dependencies efficiently. After training, the inference of PTCT is performed in an autoregressive way to ensure the quality of generated radar echo frames. To validate our algorithm, we conduct experiments on two radar echo dataset: Radar Echo Guangzhou and HKO-7. The experimental results show that PTCT achieves state-of-the-art (SOTA) performance compared with existing methods.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）と再帰ニューラルネットワーク（RNN）の降水量予測における限界、特にインダクティブバイアスと逐次計算の問題を解決する。
• 既存のTransformerベースの手法における短時間依存関係のモデリング不足と非自己回帰的生成の問題を克服する。
• パッチベースの表現と3次元時間的畳み込みを統合することで、ラジオロジカルエコー画像の予測精度を向上させる。
• 将来のラジオロジカルエコー時系列を高精細かつ自己回帰的に生成することで、正確な短期間の降水量予測を可能にする。

提案手法

• 入力のラジオロジカルエコー画像を重複のない空間的パッチに分割することで、CNNの平行移動不変性と局所性の制約を排除する。
• 自己注意機構内に3次元時間的畳み込み演算を適用し、連続するフレーム間での短時間の時間的依存関係をモデル化する。
• 訓練時にマスキングを組み込んだパッチ埋め込みモジュールを用いることで、特徴表現の強化と耐性向上を図る。
• マルチヘッド自己注意を用いた空間時間的エンコーダーを統合し、長距離の空間的および時間的依存関係を捉える。
• 各予測フレームをフィードバックして次のフレームを生成する自己回帰的推論戦略を採用し、時間的整合性を確保する。
• ラジオロジカルエコー時系列における再構成損失と予測損失を用いて、モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 標準的なCNNと比較して、パッチベースの表現は位置依存のラジオロジカルエコー運動のモデリングをどのように改善するか？
• RQ2 Transformerアーキテクチャに3次元時間的畳み込みを統合することで、ラジオロジカルエコー時系列における短時間依存関係の学習が向上するか？
• RQ3 自己回帰的推論戦略は、生成されたラジオロジカルエコー画像の品質と時間的整合性にどのような影響を与えるか？
• RQ4 パフォーマンスと耐性のバランスを考慮した場合、最適なパッチサイズとマスキング比は何か？
• RQ5 提案されたPTCTモデルは、実世界のラジオロジカルエコーデータセットにおいて、既存の最先端手法をどの程度上回るか？

主な発見

• PTCTは、ラジオロジカルエコー広州およびHKO-7データセットの両方で最先端の性能を達成し、ラジオロジカルエコー広州ではSSIMが0.907、CSIが0.531を記録した。
• 20×20のパッチを用いることで、より小さなパッチや単一パッチの構成よりも顕著に優れた性能を発揮し、インダクティブバイアスを排除するためのパッチ分割の重要性を示した。
• アブレーションスタディの結果、位置依存特徴と長距離依存関係の両方が不可欠であることが確認され、いずれかを除外すると性能が著しく低下した。
• 訓練時に最大50％のパッチをマスキングしても性能が強く保たれるため、欠損またはノイズの多い入力データに対しても耐性があることが示された。
• 3次元時間的畳み込みは2次元畳み込みを上回り、CSIで6.4％の絶対的向上（0.531 vs. 0.467）を達成した。これは、短時間ダイナミクスを捉える有効性を裏付けた。
• モデルは良好な一般化性能を示し、推論時に25％のパッチをマスキングしてもPODが0.701を維持した。これは、優れた再構成能力を示している。