[論文レビュー] Physics-inspired adaptions to low-parameter neural network weather forecasts systems

Sebastian Scher, Gabriele Messori|arXiv (Cornell University)|Aug 31, 2020

Meteorological Phenomena and Simulations被引用数 6

ひとこと要約

本稿では、球面幾何学をSpherenet畳み込みで取り入れ、気象の半球対称性を組み込むことで、低パラメータ数の畳み込みニューラルネットワークに物理的制約を組み込む手法を提案する。WeatherBenchデータセットにおける1.4°解像度での予測精度向上が確認され、両者の併用が最高の性能を示した。これは、限られたパラメータ数ですら、物理的事前知識を組み込むことでデータ駆動型モデルの性能が向上することを示している。

ABSTRACT

Recently, there has been a surge of research on data-driven weather forecasting systems, especially applications based on convolutional neural networks (CNNs). These are usually trained on atmospheric data represented on regular latitude-longitude grids, neglecting the curvature of the Earth. We assess the benefit of replacing the standard convolution operations with an adapted convolution operation which takes into account the geometry of the underlying data (Spherenet convolution), specifically near the poles. Additionally, we assess the effect of including the information that the two hemispheres of the Earth have "flipped" properties - for example cyclones circulating in opposite directions - into the structure of the network. Both approaches are examples of physics-informed machine learning. The methods are tested on the WeatherBench dataset, at a resolution of $\sim1.4^{\circ}$ which is higher than many previous studies on CNNs for weather forecasting. For most lead times up to day +10 for 500 hPa geopotential and 850 hPa temperature, we find that using Spherenet convolution or including hemisphere-specific information individually lead to improvement in forecast skill. Combining the two methods typically gives the highest forecast skill. Our version of Spherenet is implemented flexibly and scales well to high resolution datasets, but is still significantly more expensive than a standard convolution operation. Finally, we analyze cases with high forecast error. These occur mainly in winter, and are relatively consistent across different training realizations of the networks, pointing to flow-dependent atmospheric predictability.

研究の動機と目的

• 地球の球面幾何学と半球の動力学的特性という物理的制約を埋め込むことで、低パラメータ数のニューラルネットワークによる気象予測の精度を向上させること。
• モデルの複雑さを増さずに、物理的インスピレーションに基づくアーキテクチャ的変更が予測精度を向上させることを検証すること。
• 球面畳み込みと半球対称性の個別的および併用効果が、中距離（10日以内）の500 hPaジオポテンシャルおよび850 hPa温度予測に与える影響を評価すること。
• 計算リソースが限られた研究者にとって、大規模なトランスフォーマーやGNNベースのモデルの代替として、計算的に実行可能で物理的知識を組み込んだ代替手法を提供すること。

提案手法

• 地球の球面幾何学、特に極付近での特性を考慮した球面調和関数に基づく畳み込み演算を用いるSpherenet畳み込みに、標準的な2次元畳み込みを置き換える。
• 北半球と南半球の間で重みを反転させた共有を適用する半球畳み込みモジュールを導入し、逆向きの渦運動（低気圧の回転方向）を反映させる。
• 500 hPaジオポテンシャルと850 hPa温度を目的変数として、WeatherBenchデータセットを約1.4°解像度で使用し、修正されたモデルの学習と評価を実施。
• 標準CNN、Spherenetのみ、半球畳み込みのみ、および両方を組み合わせたSpherenet + 半球畳み込みモデルの4つのアーキテクチャを比較して、予測精度を評価。
• ランダムな初期摂動を用いたアンサンブル予測により確率的予測を生成し、計算コストを抑える。
• 予測誤差が大きい事例を多様なケースにわたり検証し、流れ依存予測可能性とモデルの頑健性を評価。

実験結果

リサーチクエスチョン

• RQ1 畳み込み層に球面幾何学を組み込むことで、低パラメータ数のニューラルネットワークにおける中距離気象予測精度が向上するか？
• RQ2 北半球と南半球の逆向きの渦運動（低気圧の回転方向）といった半球対称性をネットワークアーキテクチャに組み込むことで、予測精度が向上するか？
• RQ3 球面畳み込みと半球重み共有の相対的および併用効果が、予測精度に与える寄与度は何か？
• RQ4 高予測誤差は空間的・時間的にどのように分布し、異なるモデル実行結果間で一貫性があるか？
• RQ5 物理的制約に基づくアーキテクチャ的変更は、モデルサイズや計算コストを増加させずに性能向上をもたらすか？

主な発見

• Spherenet畳み込みのみを適用しても、500 hPaジオポテンシャルおよび850 hPa温度の予測精度が、10日以内のほとんどの予測リードタイムで向上した。
• 半球特化畳み込みアーキテクチャも、大気の動力学的差を捉える上で、特に精度向上に寄与した。
• Spherenetと半球畳み込みの併用は、最高の予測精度を達成しており、両者の物理的事前知識が相乗効果をもたらしていることが示された。
• 高予測誤差は主に冬に集中しており、異なる学習実行結果間で一貫しており、流れ依存予測可能性の限界を示唆している。
• Spherenetの実装は柔軟性に富み、高解像度データにもスケーリング可能であるが、標準畳み込みよりも著しく計算コストが高くなる。
• 結果から、低パラメータ数のモデルにおいても、物理的知識に基づくアーキテクチャ的選択が性能向上に寄与することを示しており、大規模なトランスフォーマーやGNNベースのシステムに対する実用的で代替可能な手法であることが明らかになった。