[論文レビュー] Compressing multidimensional weather and climate data into neural networks

Langwen Huang, Torsten Hoefler|arXiv (Cornell University)|Oct 22, 2022

Meteorological Phenomena and Simulations被引用数 6

ひとこと要約

本論文では、多次元気象・気候データを連続関数として表現する座標ベースのモデルを学習するニューラルネットワークベースの圧縮手法を提案する。この手法は、最先端のSZ3圧縮器よりも低い重み付きRMSEおよびMAEを達成しながら、300×から3,000×以上の圧縮比を実現する。大規模な大気構造を保持し、自由な補間を可能にする高速かつ並列化可能なデータアクセスを可能にする。

ABSTRACT

Weather and climate simulations produce petabytes of high-resolution data that are later analyzed by researchers in order to understand climate change or severe weather. We propose a new method of compressing this multidimensional weather and climate data: a coordinate-based neural network is trained to overfit the data, and the resulting parameters are taken as a compact representation of the original grid-based data. While compression ratios range from 300x to more than 3,000x, our method outperforms the state-of-the-art compressor SZ3 in terms of weighted RMSE, MAE. It can faithfully preserve important large scale atmosphere structures and does not introduce artifacts. When using the resulting neural network as a 790x compressed dataloader to train the WeatherBench forecasting model, its RMSE increases by less than 2%. The three orders of magnitude compression democratizes access to high-resolution climate data and enables numerous new research directions.

研究の動機と目的

• ペタバイトスケールの気象・気候シミュレーションデータの保存およびアクセスの増大する課題に対処すること。
• データアクセスを制限し帯域を減少させるブロックベースの圧縮手法の限界を克服すること。
• 空間的・時間的連続関数としての地理的変数の機能的で微分可能な表現を開発すること。
• 機械学習および科学的分析のための高圧縮・低遅延データ取得を可能にすること。
• 高圧縮領域においてアーチファクトや誤差を最小限に抑えながら、大規模な大気的特徴を保持すること。

提案手法

• 3次元デカルト座標（球面座標から変換）を地理的変数のスカラー値へマップする座標ベースのニューラルネットワークを学習する。
• 入力座標はフーリエ特徴マッピングにより埋め込まれ、高周波数の空間的・時間的信号のモデリングを可能にする。
• 深く完全接続されたアーキテクチャを採用し、残差（スキップ）接続、バッチ正規化、GELU活性化関数を用いることで、学習と一般化の向上を図る。
• 学習後、ネットワーク重みをfloat32からfloat16に量子化することで、精度損失を最小限に抑えつつ圧縮比をさらに向上させる。
• 経度・緯度を単位球面上の3次元デカルト座標に変換することで、周期的境界条件を強制する。
• 学習済みネットワークは、任意の座標クエリと補間をサポートするコンactで微分可能なデータローダーとして機能する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークを、多次元気象・気候データの高忠実度かつコンパクトなサーヴィエートとして学習させることは可能か？
• RQ2 RMSE、MAE、構造的保存性の観点から、このニューラルネットワーク手法の圧縮品質は、SZ3のような最先端のブロックベース圧縮器と比べてどの程度か？
• RQ3 この手法は、前線やジェット気流のような大規模な大気的特徴をどの程度正確に保持できるか？
• RQ4 ニューラルネットワーク表現は、WeatherBenchのような下流の機械学習モデルの訓練に、性能劣化を最小限に抑えて効果的にデータローダーとして使用できるか？
• RQ5 ハリケーンのようなレアで極端な出来事象をどう扱うか、および鋭い勾配や高インパクト特徴を捉える際の限界は何か？

主な発見

• 本手法は、複数のテストデータセットにおいて、300×から3,000×以上の圧縮比を達成し、SZ3よりも重み付きRMSEおよびMAEが優れている。
• 1,150×の圧縮比においても、ハリケーン・マシュー発生時の大型大気構造を最小限の歪みで保持している。
• SZ3よりもアーチファクトが少なく、最大誤差が高めでも、0.99999-分位数の絶対誤差はSZ3と同等を維持している。
• データローダーとして使用した場合、WeatherBenchモデルのテストRMSEが2%未満にしか上昇しないことから、機械学習トレーニングパイプラインとの高い互換性を示している。
• ハリケーンのコアのような小スケール特徴の極端な値を捉えるのは苦手であり、誘導的バイアスのため、しばしば滑らかにされてしまう。
• 本手法は、クエリサイズに比例するコストで高速かつ並列化可能なデータアクセスを可能にし、グリッド外の点でも自由な補間が可能であり、従来の圧縮器に比べて顕著な利点を有する。