[논문 리뷰] Identifying Opportunities for Skillful Weather Prediction with Interpretable Neural Networks

Elizabeth A. Barnes, Kirsten J. Mayer외 3명|arXiv (Cornell University)|2020. 12. 14.

Explainable Artificial Intelligence (XAI)참고 문헌 11인용 수 12

한 줄 요약

이 논문은 3개월 후의 기상 예측 정확도를 높이기 위해 해양 및 대기 조건을 규명하는 데 해석 가능한 딥 뉴럴 네트워크와 계층별 중요도 전파(LRP)를 사용하는 방법을 제안한다. 해수면 온도(SST) 이상을 분석함으로써, 특히 열대 동태평양(ENSO) 지역이 시애틀 근처의 지표 온도 이상 예측에 가장 관련성이 높은 영역임을 밝혀내며, 강화된 예측 가능성의 물리적 메커니즘을 규명한다.

ABSTRACT

The atmosphere is chaotic. This fundamental property of the climate system makes forecasting weather incredibly challenging: it's impossible to expect weather models to ever provide perfect predictions of the Earth system beyond timescales of approximately 2 weeks. Instead, atmospheric scientists look for specific states of the climate system that lead to more predictable behaviour than others. Here, we demonstrate how neural networks can be used, not only to leverage these states to make skillful predictions, but moreover to identify the climatic conditions that lead to enhanced predictability. Furthermore, we employ a neural network interpretability method called ``layer-wise relevance propagation'' to create heatmaps of the regions in the input most relevant for a network's output. For Earth scientists, these relevant regions for the neural network's prediction are by far the most important product of our study: they provide scientific insight into the physical mechanisms that lead to enhanced weather predictability. While we demonstrate our approach for the atmospheric science domain, this methodology is applicable to a large range of geoscientific problems.

연구 동기 및 목표

• 일般적으로 2주 이내의 예측 한계를 넘어서, 특정 기후 상태가 서브시즌 기상 예측의 정확도를 높일 수 있는지를 규명하는 것.
• 예측뿐만 아니라 어떤 대기 및 해양 조건이 예측 가능성을 이끄는지 설명할 수 있는 기계학습 프레임워크를 개발하는 것.
• 계층별 중요도 전파(LRP)를 사용하여 정확한 예측에 가장 영향을 미치는 SST 영역을 식별하는 해석 가능한 히트맵을 생성하는 것.
• AI가 추출한 공간적 패턴을 통해 ENSO와 같은 강화된 예측 가능성을 뒷받침하는 물리적 역학적 메커니즘에 대한 통찰을 제공하는 것.
• 지구과학 분야 전반에 적용 가능한 일반화 가능한 방법론을 확립하여 '기회적 예측'을 탐지하는 것.

제안 방법

• 시애틀 근처의 3개월 후 지표 온도 이상의 부호를 분류하기 위해 히든 레이어가 8개의 ReLU 활성화 함수를 가진 완전 연결 피드포워드 신경망을 훈련한다.
• 과적합 방지를 위해 L2 정규화를 적용한 COBE V2 데이터셋에서의 SST 이상(4°×4° 격자, 4050개 입력 특징)을 입력으로 사용한다.
• 예측 신뢰도를 최적화하기 위해 음의 로그우도 손실과 함께 Nesterov 가속 경량 최적화 기법을 사용하며, 학습률 스케줄링을 적용한다.
• 입력의 민감도를 평가하기 위해 계층별 중요도 전파(LRP)를 적용하여, 네트워크의 예측에 가장 영향을 미치는 SST 격점들을 식별한다.
• 히트맵은 개별 샘플과 예측 정확도가 가장 높은 상위 10퍼센트의 예측에 대해 평균화하여 분석하여 주요 예측 영역을 규명한다.
• 인간 활동에 의한 기후 변화의 영향을 반영하기 위해 입력 및 출력 데이터는 1980–2009년 기후 평균 기준으로 표준화 및 추세 제거를 수행한다.

실험 결과

연구 질문

• RQ1 어떤 특정 해수면 온도 패턴이 시애틀 근처의 3개월 후 지표 온도 이상을 가장 잘 예측하는가?
• RQ2 해석 가능한 딥 러닝 기법이 혼돈 시스템 내에서 무작위 노이즈를 넘어서 '기회적 예측'—강화된 예측 가능성을 가진 경우—를 식별할 수 있는가?
• RQ3 LRP에 의해 규명된 가장 관련성 있는 입력 영역이 ENSO와 같은 중위도 기후 변동성의 알려진 물리적 원인과 어떻게 비교되는가?
• RQ4 네트워크의 주의 패턴(LRP를 통해 파악됨)이 서로 다른 샘플 간에 얼마나 다양하게 나타나는가? 이는 맥락 의존적 예측 가능성을 시사하는가?
• RQ5 이 프레임워크는 대기 예측 외의 다른 지구과학적 맥락에서도 일반화되어 예측 가능성을 탐지할 수 있는가?

주요 결과

• 평균 LRP 히트맵에서 열대 동태평양의 SST 이상, 즉 엘 니뇨-남성기열역동(ENSO)의 특징이 정확도가 높은 예측에서 예측 가능성을 주도하는 주요 요인으로 나타났다.
• 개별 LRP 히트맵은 네트워크가 샘플에 따라 다른 영역에 집중함을 보여주며, 단일 패턴을 넘어서 맥락에 따라 달라지는 예측 가능성을 시사한다.
• 상위 10퍼센트의 가장 높은 신뢰도를 가진 예측—기회적 예측으로 지정됨—은 높은 정확도를 기록했으며, LRP는 알려진 기후 메커니즘과 일치하는 물리적으로 의미 있는 영역을 강조했다.
• LRP 히트맵은 중위도 동태평양과 열대 태평양이 정확한 예측에 가장 관련성이 높다는 것을 드러내었으며, 이는 서브시즌 예측 가능성을 뒷받침하는 기존의 역학적 이해와 일치한다.
• 이론적 지식을 사전에 가정하지 않고도 예측 가능성을 뒷받침하는 물리적 메커니즘을 성공적으로 규명하였으며, 기후 모델링에서 해석 가능성의 가치를 입증하였다.
• 이 프레임워크는 다른 지구과학 문제로도 확장 가능하며, 복잡한 시스템에서 예측 가능성을 탐지하고 이해하는 데의 길을 열어준다.