[논문 리뷰] Zero-Shot Learning of Aerosol Optical Properties with Graph Neural Networks

Kara D. Lamb, Pierre Gentine|arXiv (Cornell University)|2021. 07. 21.

Atmospheric aerosols and clouds인용 수 7

한 줄 요약

이 논문은 MSTM 시뮬레이션을 통해 작은 덩어리의 광학적 성질을 훈련한 그래프 신경망(GNN) 모델을 제안하며, 훈련 데이터보다 훨씬 큰 입자에 대해서도 제로샷 일반화를 달성하여 블랙카본 분할 덩어리의 대기질 광학 성질을 예측한다. 작은 덩어리의 MSTM 시뮬레이션 결과를 기반으로 훈련된 GNN은 훈련 데이터에 포함되지 않은 큰, 새로운 덩어리에 대해 산산이 흩어짐, 흡수, 희끄물함 및 비대칭 인자와 같은 광학 성질을 정확하게 예측하며, 계산 비용이 높은 시뮬레이션에 비해 빠르고 정확한 대안을 제공한다.

ABSTRACT

Aerosols sourced from combustion such as black carbon (BC) are important short-lived climate forcers whose direct radiative forcing and atmospheric lifetime depend on their morphology. These aerosols' complex morphology makes modeling their optical properties difficult, contributing to uncertainty in both their direct and indirect climate effects. Accurate and fast calculations of BC optical properties are needed for remote sensing inversions and for radiative forcing calculations in atmospheric models, but current methods to accurately calculate the optical properties of these aerosols are computationally expensive and are compiled in extensive databases off-line to be used as a look-up table. Recent advances in machine learning approaches have shown the potential of graph neural networks (GNN's) for various physical science applications, demonstrating skill in generalizing beyond initial training data by learning internal properties and small-scale interactions defining the emergent behavior of the larger system. Here we demonstrate that a GNN trained to predict the optical properties of numerically-generated BC fractal aggregates can accurately generalize to arbitrarily shaped particles, even over much larger (10x) aggregates than in the training dataset, providing a fast and accurate method to calculate aerosol optical properties in models and for observational retrievals. This zero-shot learning approach could be integrated into atmospheric models or remote sensing inversions to predict the physical properties of realistically-shaped aerosol and cloud particles. In addition, GNN's can be used to gain physical intuition on the relationship between small-scale interactions (here of the spheres' positions and interactions) and large-scale properties (here of the radiative properties of aerosols).

연구 동기 및 목표

• 기존 전자기적 방법으로 복잡한 분할형 블랙카본(BC) 대기질 입자의 광학 성질을 정확하게 계산하는 데 발생하는 계산적 제약을 해결하기 위해.
• 학습 데이터를 초월해 임의의 형태이거나 더 큰 BC 분할 덩어리의 광학 성질을 예측할 수 있는 기계학습 접근법을 개발하기 위해.
• 대기 모델 및 원격 감지 추정에 사용되는 사전 계산된 룩업 테이블의 빠르고 미분 가능한 대안을 제공하기 위해.
• 미세 구조적 입자 형상이 거시적 복사 성질에 미치는 영향을 이해하기 위해 물리적 통찰을 확보하기 위해.

제안 방법

• GNN 모델은 구를 노드로, 구 간 상호작용을 간선으로 하여 BC 분할 덩어리를 그래프로 표현하며, 공간적 및 형상 정보를 코딩한다.
• 학습 가능한 노드 및 간선 메시지 전달 기능을 갖춘 그래프 상호작용 네트워크(IN) 아키텍처를 사용하였으며, 전역 풀링 및 회귀 헤드를 거친다.
• 57,556개의 작은 덩어리(N_s < 100)에 대해 다양한 분할 차수와 주요 입자 수를 가진 MSTM 시뮬레이션 결과(Q_ext, Q_sca, Q_abs, g)를 기반으로 훈련하였다.
• 재훈련 없이도 동일한 모델을 사용해 훈련 중에 볼 수 없었던 880개의 큰 덩어리(100 < N_s < 1000)에 대해 제로샷 일반화를 테스트하였다.
• 정규화를 위해 ReLU 활성화 함수와 드롭아웃(p=0.5)을 사용하며, 적분 광학 성질에 대해 평균 제곱오차(MSE)를 최소화하여 손실을 최소화하였다.
• 모델은 PyTorch Geometric에 구현되었으며, 배치 크기가 20인 NVIDIA RTX 8000 GPU에서 훈련되었다.

실험 결과

연구 질문

• RQ1 작고 수치적으로 생성된 BC 분할 덩어리에 대해 훈련된 GNN이 훨씬 더 큰, 볼 수 없는 덩어리의 광학 성질을 정확하게 예측할 수 있는가?
• RQ2 GNN이 훈련 분포를 초월해 형상과 크기에서 얼마나 잘 일반화되는가?
• RQ3 GNN이 산산이 흩어짐, 흡수, 희끄물함 및 비대칭 인자와 같은 핵심 복사 전달 매개변수를 얼마나 잘 예측하는가?
• RQ4 GNN 모델이 국소적 입자 구조와 거시적 광학 행동 간의 관계에 대해 물리적 통찰을 제공할 수 있는가?

주요 결과

• 모델은 미세 조정 없이도 큰 덩어리(N_s > 100)에 대해 적분 광학 성질(Q_ext, Q_sca, Q_abs, g)을 높은 정확도로 예측하여 강력한 제로샷 일반화 능력을 입증하였다.
• 훈련 세트보다 10배 이상 큰 덩어리에 대해 낮은 오차로 광학 성질을 예측하여 강력한 외삽 능력을 보였다.
• 상호작용 네트워크(IN) 아키텍처는 SGC 및 GCN과 같은 더 단순한 GNN보다 우수했으며, 특히 복잡한 구 간 상호작용을 잘 포착하였다.
• 완전히 연결된 층을 각 그래프에 추가함으로써 산산이 흩어짐 위상 함수 S11 예측에서 최신 기술 성능을 달성하였으며, 제로샷 일반화 능력이 향상되었다.
• GNN 프레임워크는 MSTM를 사용할 경우 입자당 수시간에서 수일이 걸리는 계산 비용을 예측당 밀리초 수준으로 줄여, 실시간 모델 통합을 가능하게 하였다.
• 모델은 국소적 입자 형상(분할 차수, 주요 입자 수)과 거시적 복사 성질 간의 물리적 관계를 드러내어 블랙박스 예측을 넘어서 해석 가능성을 제공하였다.