[논문 리뷰] Self-Attentive Ensemble Transformer: Representing Ensemble Interactions in Neural Networks for Earth System Models

Tobias Sebastian Finn|arXiv (Cornell University)|2021. 06. 21.

Climate variability and models인용 수 8

한 줄 요약

이 논문은 자기주의 집합 트랜스포머(self-attentive ensemble transformer)를 제안하며, 지구시스템 모델 예측에서 집합 구성원 간의 동적 상호작용을 자기주의 주의 메커니즘을 사용하여 모델링하는 신경망 아키텍처이다. 집합 칼만 필터 원리를 트랜스포머 프레임워크에 통합함으로써, 구성원별 후처리를 가능하게 하여 공간적 일관성을 유지하고 예측 오차를 감소시켜(CRPS: 0.41), 집합 분산을 적절히 校정하며, 직접적이고 비모수적 후처리 방법들을 능가한다.

ABSTRACT

Ensemble data from Earth system models has to be calibrated and post-processed. I propose a novel member-by-member post-processing approach with neural networks. I bridge ideas from ensemble data assimilation with self-attention, resulting into the self-attentive ensemble transformer. Here, interactions between ensemble members are represented as additive and dynamic self-attentive part. As proof-of-concept, I regress global ECMWF ensemble forecasts to 2-metre-temperature fields from the ERA5 reanalysis. I demonstrate that the ensemble transformer can calibrate the ensemble spread and extract additional information from the ensemble. As it is a member-by-member approach, the ensemble transformer directly outputs multivariate and spatially-coherent ensemble members. Therefore, self-attention and the transformer technique can be a missing piece for a non-parametric post-processing of ensemble data with neural networks.

연구 동기 및 목표

• 표준 신경망을 사용할 경우 집합 후처리에서 공간적 및 多변량 일관성이 손실되는 문제를 해결하기 위해.
• 집합 구성원 간의 상호작용을 포착하는 비모수적, 구성원별 후처리 방법을 개발하기 위해.
• 동적 상호의존성 간의 모델링을 통해 집합 분산을 校정하고 예측 능력을 향상시키기 위해.
• 자기주의 주의가 집합 칼만 필터와 유사한 방식으로 집합 상호작용을 효과적으로 표현할 수 있는지 보여주기 위해.
• 요약 통계 자료에 의존하지 않고 공간적으로 일관되고 다변량 집합 구성원을 직접 출력할 수 있도록 하기 위해.

제안 방법

• 모델은 여러 층의 자기주의 주의 모듈을 갖춘 자기주의 집합 트랜스포머를 사용하며, 이를 통해 집합 예측을 집합(set)으로 처리한다.
• 각 집합 구성원의 출력은 정적 값(입력의 학습된 투영)과 동적 주의 기반 항목으로 구성되며, 이 항목은 모든 다른 구성원로부터의 정보를 집계한다.
• 동적 항목은 가중치 합으로 계산되며, 이는 값의 변동(v_j - v_mean)을 기반으로 하며, 가중치는 각 구성원별로 학습되고 쿼리-키 유사도에 따라 결정되며, 집합 칼만 필터의 동역학을 모방한다.
• 아키텍처는 집합 구성원에 대해 순열에 대해 불변이며, 집합 기반 처리를 가능하게 하고 물리적 일관성을 유지한다.
• 모델은 끝에서 끝까지 훈련되어, ERA5 재분석 자료에 대한 시공간 CRPS와 RMSE를 최소화한다.
• 요약 통계 자료(예: 평균, 분산)를 회피하고 직접적으로 공간적으로 일관된 전체 집합 구성원을 출력한다.

실험 결과

연구 질문

• RQ1 자기주의 주의 메커니즘이 집합 칼만 필터와 유사하게 집합 예측에서 구성원 간 상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 구성원별 후처리 접근법이 지구시스템 모델 집합에서 공간적 및 다변량 일관성을 유지할 수 있는가?
• RQ3 동적 구성원 간 의존성을 통합함으로써 독립적 처리에 비해 예측 정확도와 분산 校정 능력이 향상되는가?
• RQ4 자기주의 집합 트랜스포머가 CRPS와 RMSE 측면에서 비모수적 및 모수적 후처리 기준보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 모델은 요약 통계 자료에 의존하지 않고도 적절한 집합 분산 校정을 학습할 수 있는가?

주요 결과

• 자기주의 집합 트랜스포머는 테스트된 모든 방법 중에서 가장 낮은 CRPS(0.41)와 RMSE(0.90 K)를 기록하여, 직접적 방법과 PPNN 기준보다 뛰어난 성능을 보였다.
• 모델은 집합 분산을 성공적으로 校정하여 완벽한 분산-능력 비율을 달성했으며, 직접적 방법은 분산이 너무 작아서 과소분산된 집합을 생성하여 분산이 0.70 K에 머물렀다.
• 후처리 이후에도 집합 내 공간 상관 구조가 유지되었으며, 원시 IFS-EPS 집합에서 관찰된 패턴과 일치하여 강력한 공간 일관성을 보였다.
• 트랜스포머 모델은 구성원 간 상호작용으로부터 추가 정보를 추출했으며, 이는 독립적 처리(Direct) 및 PPNN 방법 대비 더 낮은 RMSE와 CRPS로 입증되었다.
• 깊이에 따라 확장성이 입증되었으며, 더 많은 레이어를 사용할수록 성능 향상이 관찰되었다(예: Transformer(5)는 Transformer(1)보다 뛰어났다).
• 아키텍처는 요약 통계 자료가 필요 없이 비모수적이고 구성원별 후처리를 가능하게 하여 다변량이고 공간적으로 일관된 집합 구성원을 직접 출력한다.