[論文レビュー] Self-Attentive Ensemble Transformer: Representing Ensemble Interactions in Neural Networks for Earth System Models

Tobias Sebastian Finn|arXiv (Cornell University)|Jun 21, 2021

Climate variability and models被引用数 8

ひとこと要約

本稿では、自己注意機構を用いて地球システムモデルのアンサンブル予報におけるアンサンブル成員間の動的相互作用をモデル化するニューラルネットワークアーキテクチャ、自己注意型アンサンブルトランスフォーマーを提案する。アンサンブルカルマンフィルタの原理をトランスフォーマー枠組みに統合することで、成員ごとの後処理が可能となり、空間的整合性を保ちながら予報誤差（CRPS: 0.41）を低減し、アンサンブルスプレッドを適切にキャリブレーションする。直接法およびパrametric後処理法を上回る性能を示した。

ABSTRACT

Ensemble data from Earth system models has to be calibrated and post-processed. I propose a novel member-by-member post-processing approach with neural networks. I bridge ideas from ensemble data assimilation with self-attention, resulting into the self-attentive ensemble transformer. Here, interactions between ensemble members are represented as additive and dynamic self-attentive part. As proof-of-concept, I regress global ECMWF ensemble forecasts to 2-metre-temperature fields from the ERA5 reanalysis. I demonstrate that the ensemble transformer can calibrate the ensemble spread and extract additional information from the ensemble. As it is a member-by-member approach, the ensemble transformer directly outputs multivariate and spatially-coherent ensemble members. Therefore, self-attention and the transformer technique can be a missing piece for a non-parametric post-processing of ensemble data with neural networks.

研究の動機と目的

• 標準的なニューラルネットワークを用いたアンサンブル後処理において、空間的および多変量的整合性の損失を解消すること。
• アンサンブル成員間の相互作用を捉える非パラメトリックで成員ごとの後処理手法を開発すること。
• 動的で成員間の依存関係をモデル化することで、アンサンブルスプレッドのキャリブレーションと予報精度の向上を図ること。
• 自己注意機構が、アンサンブルカルマンフィルタと類似する方法でアンサンブル相互作用を効果的に表現できることを示すこと。
• 要約統計量（例：平均、分散）に依存せずに、空間的に整合的で多変量的なアンサンブル成員を直接出力可能にする仕組みを実現すること。

提案手法

• 本モデルは、複数のスタックされた自己注意モジュールを備えた自己注意型アンサンブルトランスフォーマーであり、アンサンブル予報を集合として処理する。
• 各アンサンブル成員の出力は、入力の学習された投影による定数項と、他の全成員からの情報を集約する動的で注意に基づく項の合成で構成される。
• 動的項は、重み付き和（v_j - v_mean）として計算され、重みは各成員ごとに学習され、クエリ-キー類似度に依存する。これはアンサンブルカルマンフィルタのダイナミクスを模倣する。
• 本アーキテクチャはアンサンブル成員の順序に対して置換不変であり、集合ベースの処理が可能で、物理的整合性を保つ。
• モデルは、ERA5再解析データに対する時空間的CRPSとRMSEを最小化するように、エンドツーエンドで訓練される。
• 要約統計量（例：平均、分散）を避けており、空間的に整合的で完全なアンサンブル成員を直接出力する。

実験結果

リサーチクエスチョン

• RQ1 自己注意機構は、アンサンブルカルマンフィルタと類似する方法で、アンサンブル予報における成員間相互作用を効果的にモデル化できるか？
• RQ2 成員ごとの後処理アプローチは、地球システムモデルのアンサンブルにおいて空間的および多変量的整合性を保持できるか？
• RQ3 動的で成員間の依存関係を組み込むことで、独立処理と比較して予報精度とスプレッドキャリブレーションが向上するか？
• RQ4 自己注意型アンサンブルトランスフォーマーは、CRPSおよびRMSEの観点で、パラメトリックおよび非パラメトリックな後処理ベースラインを上回るか？
• RQ5 要約統計量に依存せずに、モデルは適切なアンサンブルスプレッドキャリブレーションを学習できるか？

主な発見

• 自己注意型アンサンブルトランスフォーマーは、全手法の中で最小のCRPS（0.41）とRMSE（0.90 K）を達成し、直接法およびPPNNベースラインを上回った。
• モデルはアンサンブルスプレッドを適切にキャリブレーションし、完璧なスプレッド-スキル比を達成した。一方、直接法はスプレッドが小さすぎる（0.70 K）ため、アンダーディスパージョンを示した。
• 後処理後のアンサンブル内における空間相関構造は、生のIFS-EPSアンサンブルで観察されたパターンと一致しており、強い空間的整合性が保たれた。
• トランスフォーマー・モデルは、成員間相互作用からの追加的情報を抽出できたことが、独立処理（Direct）およびPPNN手法と比較して、より低いRMSEおよびCRPSにより裏付けられた。
• モデルは深さに応じたスケーラビリティを示し、層の数を増やすことで性能が向上した（例：Transformer(5)はTransformer(1)を上回った）。
• 本アーキテクチャは、要約統計量を必要とせず、多変量的かつ空間的に整合的なアンサンブル成員を直接出力可能な非パラメトリックな成員単位の後処理を可能にする。