[논문 리뷰] The World as a Graph: Improving El Niño Forecasts with Graph Neural Networks

Salva Rühling Cachay, Emma Erickson외 6명|arXiv (Cornell University)|2021. 04. 11.

Climate variability and models참고 문헌 47인용 수 10

한 줄 요약

이 논문은 시계열 엘니뇨 예측을 위한 최초의 그래프 신경망(GNN) 기반 모델인 Graphiño를 제안한다. Graphiño는 전 세계적인 공간적 연결성을 동시에 학습하고, 해양 니뇨 지수(ONI)를 예측한다. 적응형 그래프 구조를 통해 대규모 대기 상호작용을 모델링함으로써, 6개월 이내의 예측에서 최신의 딥러닝 모델을 능가하며, 학습된 물리적으로 의미 있는 연결성을 통해 해석 가능성도 향상시킨다.

ABSTRACT

Deep learning-based models have recently outperformed state-of-the-art seasonal forecasting models, such as for predicting El Niño-Southern Oscillation (ENSO). However, current deep learning models are based on convolutional neural networks which are difficult to interpret and can fail to model large-scale atmospheric patterns. In comparison, graph neural networks (GNNs) are capable of modeling large-scale spatial dependencies and are more interpretable due to the explicit modeling of information flow through edge connections. We propose the first application of graph neural networks to seasonal forecasting. We design a novel graph connectivity learning module that enables our GNN model to learn large-scale spatial interactions jointly with the actual ENSO forecasting task. Our model, \graphino, outperforms state-of-the-art deep learning-based models for forecasts up to six months ahead. Additionally, we show that our model is more interpretable as it learns sensible connectivity structures that correlate with the ENSO anomaly pattern.

연구 동기 및 목표

• 엘니뇨-남태평양 순환(ENSO) 예측에 핵심적인 대규모 비국소적 대기 패턴을 모델링하는 데에 컨volutional 신경망(CNNs)의 한계를 해결하기 위해.
• 지역적이고 이동 불변성 있는 컨볼루션과는 달리 기후 데이터의 전역적 공간 의존성을 더 효과적으로 포착하는 그래프 신경망(GNN) 기반 접근법을 개발하기 위해.
• 사전 정의된 공간 그래프가 필요 없이 기후 연결성을 엔드 투 엔드로 학습할 수 있는 새로운 그래프 구조 학습 모듈을 도입하기 위해.
• 특히 6개월 이내의 예측을 위한 시계기상 예측의 정확도와 모델의 해석 가능성을 향상시키기 위해.
• 이전 딥러닝 시스템과 달리 계절과 예측 리드 타임 별 별도의 모델이 필요 없도록 하여 계산 및 모델 복잡도를 감소시키기 위해.

제안 방법

• 과도한 스무스닝을 완화하고 노드 표현 학습을 향상시키기 위해 잔차 연결과 점프 지식을 갖춘 그래프 컨볼루션 네트워크(GCN)를 사용한다.
• 입력 데이터로부터 동적으로 인접 행렬(즉, 기후 지역 간 연결성)을 학습하는 새로운 그래프 연결성 학습 모듈을 도입하여 대규모 상호작용을 적응적으로 모델링한다.
• 노드 특징은 해수면 온도 이상 및 기타 해양 변수에서 유도되며, 효율성과 관련성을 높이기 위해 육지 지역은 마스킹한다.
• 노드 임베딩의 집합(평균 또는 합산)을 통한 그래프 수준의 표현을 생성한 후, 최종적으로 ONI 지수를 예측하기 위한 회귀 헤드를 적용한다.
• 기후 기록 데이터에 표준 회귀 손실을 사용하여 엔드 투 엔드로 학습하며, 다양한 ENSO 이벤트 유형에 대한 일반화 능력을 고려한다.
• 아키텍처는 Graphiño로 구현되었으며, 재현 가능성과 기후 GNN 분야의 향후 연구를 지원하기 위해 오픈소스로 공개되었다.

실험 결과

연구 질문

• RQ1 그래프 신경망은 ENSO 예측에 핵심적인 대규모 비국소적 대기 및 해양 상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 사전 정의된 그래프 또는 수작업으로 만든 그래프와 비교해 볼 때, 학습 가능한 그래프 연결성 구조가 계절 기후 모델링에서 예측 정확도를 향상시키는가?
• RQ3 특히 6개월 이내의 예측에서, CNN과 같은 최신 딥러닝 모델보다 GNN이 ENSO 예측에서 승리할 수 있는가?
• RQ4 GNN이 물리적으로 의미 있는 기후 지역 간 연결성을 학습함으로써 모델의 해석 가능성은 어느 정도 향상될 수 있는가?
• RQ5 단일 GNN 모델이 다양한 계절과 리드 타임에 걸쳐 일반화될 수 있는가? 이는 별도의 작업 특화 모델이 필요 없도록 줄일 수 있는가?

주요 결과

• Graphiño는 6개월 이내의 예측에서 최신의 딥러닝 기반 ENSO 예측 모델을 능가하며, 뛰어난 예측 정확도를 입증한다.
• 기존 SOTA 접근법이 계절과 리드 타임 별로 별도의 모델이 필요했던 것에 비해, Graphiño는 12배 적은 모델 수로 경쟁적인 성능을 달성한다.
• 학습된 그래프 연결성 구조는 패시픽 워커 순환 및 원거리 텔레커넥션과 같은 알려진 ENSO 역학과 상관관계를 보이며, 모델의 해석 가능성을 향상시킨다.
• CNN과 달리 이동 불변성을 기반으로 하지 않아도 전 세계 규모의 패턴을 성공적으로 포착한다. 이는 위치 기반 기후 신호를 다루는 데서 CNN의 어려움을 해결한다.
• 희귀한 극단적 ENSO 이벤트에 대해서도 뛰어난 성능을 유지하며, 맞춤형 손실 함수를 통해 추가로 향상될 잠재력이 있음을 시사한다.
• 평균 및 합산 집계를 통한 그래프 풀링 사용이 안정적인 결과를 제공하며, 특히 평균 집계가 실험 전반에서 일관되게 뛰어난 성능을 보였다.