[論文レビュー] Zero-Shot Learning of Aerosol Optical Properties with Graph Neural Networks

Kara D. Lamb, Pierre Gentine|arXiv (Cornell University)|Jul 21, 2021

Atmospheric aerosols and clouds被引用数 7

ひとこと要約

本論文では、訓練データよりもはるかに大きな粒子に対しても、ゼロショット一般化を達成するグラフニューラルネットワーク（GNN）モデルを提案している。小規模な凝集体のMSTMシミュレーションで得られた光学的性質を用いて訓練されたGNNは、大規模で未観測の凝集体の散乱、消光、吸収、非対称性パラメータを正確に予測でき、計算コストの高いシミュレーションに代わる高速で高精度な代替手段を提供する。

ABSTRACT

Aerosols sourced from combustion such as black carbon (BC) are important short-lived climate forcers whose direct radiative forcing and atmospheric lifetime depend on their morphology. These aerosols' complex morphology makes modeling their optical properties difficult, contributing to uncertainty in both their direct and indirect climate effects. Accurate and fast calculations of BC optical properties are needed for remote sensing inversions and for radiative forcing calculations in atmospheric models, but current methods to accurately calculate the optical properties of these aerosols are computationally expensive and are compiled in extensive databases off-line to be used as a look-up table. Recent advances in machine learning approaches have shown the potential of graph neural networks (GNN's) for various physical science applications, demonstrating skill in generalizing beyond initial training data by learning internal properties and small-scale interactions defining the emergent behavior of the larger system. Here we demonstrate that a GNN trained to predict the optical properties of numerically-generated BC fractal aggregates can accurately generalize to arbitrarily shaped particles, even over much larger (10x) aggregates than in the training dataset, providing a fast and accurate method to calculate aerosol optical properties in models and for observational retrievals. This zero-shot learning approach could be integrated into atmospheric models or remote sensing inversions to predict the physical properties of realistically-shaped aerosol and cloud particles. In addition, GNN's can be used to gain physical intuition on the relationship between small-scale interactions (here of the spheres' positions and interactions) and large-scale properties (here of the radiative properties of aerosols).

研究の動機と目的

• 従来の電磁気的手法を用いた複雑でフラクタルに近いブラックカーボン（BC）エアロゾルの光学的性質を正確に計算する際の計算ボトルネックを解消すること。
• 訓練データを超えて任意の形状およびより大きなBC凝集体の光学的性質を予測できる機械学習手法を開発すること。
• 大気モデルやリモートセンシングの逆問題解法における事前計算された照会テーブルの高速で微分可能な代替手段を提供すること。
• 微小な粒子の形態が大規模な放射エネルギー的性質に与える影響を解明する物理的知見を得ること。

提案手法

• GNNモデルは、BCフラクタル凝集体をグラフとして表現し、球体をノード、球体間の相互作用をエッジとして扱い、空間的および形態的情報を符号化する。
• 学習可能なノードおよびエッジのメッセージパッシング関数を備えたグラフインタラクションネットワーク（IN）アーキテクチャを採用し、グローバルプーリングと回帰ヘッドを適用した。
• 57,556個の小規模な凝集体（N_s < 100）について、異なるフラクタル次元と一次粒子数を有するMSTMシミュレーションで得られた光学的性質（Q_ext, Q_sca, Q_abs, g）を用いてモデルを訓練した。
• 再訓練なしに、同じモデルを用いて訓練中に未観測の880個の大きな凝集体（100 < N_s < 1000）に対してゼロショット一般化をテストした。
• 正則化のためReLU活性化関数とドロップアウト（p=0.5）を用い、積分光学的性質の平均二乗誤差（MSE）を最小化することで損失を最適化した。
• モデルはPyTorch Geometricで実装され、バッチサイズ20でNVIDIA RTX 8000 GPU上で訓練された。

実験結果

リサーチクエスチョン

• RQ1 小規模で数値的に生成されたBCフラクタル凝集体で訓練されたGNNは、はるかに大きな未観測の凝集体の光学的性質を正確に予測できるか？
• RQ2 GNNは、訓練分布をはるかに超える形態的構造およびサイズにどの程度一般化できるか？
• RQ3 消光、吸収、散乱、非対称性因子といった主要な放射移動パラメータをGNNはどの程度正確に予測できるか？
• RQ4 GNNモデルは、局所的な粒子構造とグローバルな光学的挙動の関係について物理的知見を提供できるか？

主な発見

• GNNは、微調整なしに大規模な凝集体（N_s > 100）の積分光学的性質（Q_ext, Q_sca, Q_abs, g）を高い精度で予測し、強力なゼロショット一般化を示した。
• 訓練データの10倍以上大きな凝集体に対しても低誤差で光学的性質を予測でき、強力な外挿能力を示した。
• インタラクションネットワーク（IN）アーキテクチャは、SGC や GCN よりも優れた性能を示し、複雑な球体間相互作用を的確に捉えていた。
• スキャッタリング相関関数S11の予測において、GNNは最先端の性能を達成し、各グラフに全結合層を追加することでゼロショット一般化性能が向上した。
• GNNフレームワークにより、MSTMを用いた1粒子あたり数時間～数日かかる計算コストを、1予測あたりミリ秒単位に削減し、リアルタイムでのモデル統合が可能になった。
• モデルは、局所的な粒子形態（フラクタル次元、一次粒子数）と大規模な放射的性質との間の物理的関係を明らかにし、ブラックボックス予測を超えた解釈可能性を提供した。