[논문 리뷰] TeleViT: Teleconnection-driven Transformers Improve Subseasonal to Seasonal Wildfire Forecasting

Ioannis Prapas, Nikolaos Ioannis Bountos외 4명|arXiv (Cornell University)|2023. 06. 19.

Species Distribution and Climate ChangeEnvironmental Science인용 수 3

한 줄 요약

TeleViT는 기상 전역 및 국지 기상 변수와 함께 순환지수(TCIs)를 통합하는 새로운 트랜스포머 기반 모델을 소개한다. 이는 초기기상 예측의 정확도를 향상시키기 위해 다중 척도 주의 메커니즘을 활용하여 순환현상과 지역 기상 데이터 간의 상호작용을 모델링한다. TeleViT는 기존 기준 모델 대비 예측 오차를 최대 25% 감소시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Wildfires are increasingly exacerbated as a result of climate change, necessitating advanced proactive measures for effective mitigation. It is important to forecast wildfires weeks and months in advance to plan forest fuel management, resource procurement and allocation. To achieve such accurate long-term forecasts at a global scale, it is crucial to employ models that account for the Earth system's inherent spatio-temporal interactions, such as memory effects and teleconnections. We propose a teleconnection-driven vision transformer (TeleViT), capable of treating the Earth as one interconnected system, integrating fine-grained local-scale inputs with global-scale inputs, such as climate indices and coarse-grained global variables. Through comprehensive experimentation, we demonstrate the superiority of TeleViT in accurately predicting global burned area patterns for various forecasting windows, up to four months in advance. The gain is especially pronounced in larger forecasting windows, demonstrating the improved ability of deep learning models that exploit teleconnections to capture Earth system dynamics. Code available at https://github.com/Orion-Ai-Lab/TeleViT.

연구 동기 및 목표

• 복잡한 장거리 기상 순환현상으로 인해 발생하는 정확한 초기기상 예측의 과제를 해결한다.
• 대규모 기상 지수(예: ENSO, NAO)를 딥 러닝 모델의 명시적 입력으로 통합하여 예측 신뢰도를 향상시킨다.
• 국지적, 전역적, 순환현상 기반 기상 변수 간의 상호작용을 모델링하는 통합 주의 메커니즘을 개발한다.
• 표준 비전 트랜스포머 및 U-Net++ 모델이 다양한 기상 데이터 소스 간의 장거리 의존성을 포착하는 데에 한계를 보이는 문제를 해결한다.
• 순환지수를 학습 가능한 토큰으로 통합함으로써 모델의 일반화 능력과 예측 성능이 초기기상 화재 예측에서 향상됨을 입증한다.

제안 방법

• 국지(14×80×80), 전역(14×360×180), 순환지수(10×10)의 세 개의 스트림을 갖는 하이브리드 입력 아키텍처를 사용하여 다중 척도 기상 데이터를 처리한다.
• 비대칭 토큰화를 적용: 국지 데이터에는 16×16 패치, 전역 데이터에는 30×30 패치, 순환지수에는 1×1 패치를 사용하여 공간적 및 시간적 해상도를 유지한다.
• 순환지수를 입력 시퀀스에 학습 가능한 토큰으로 통합하여 장거리 기상 영향을 주의 기반으로 모델링할 수 있도록 한다.
• 8층, 12개의 주의 헤드, 768차원 임bedding을 갖는 비전 트랜스포머(ViT) 인코더를 사용하여 다중 소스 입력을 처리한다.
• 순환지수에는 z-점수 정규화를, 다른 변수에는 평균 절대 정규화를 적용하고, 강한 왜곡을 보이는 변수(강수량, 인구 등)에는 log(1+x) 변환을 적용한다.
• 교차 엔트로피 손실과 Adam 옵timizer를 사용하여 모델을 훈련하고, 검증 손실 기반 조기 정지 기법을 적용한다. 트랜스포머 모델의 경우 초기 학습률을 감소시켜(0.0001) 사용한다.

실험 결과

연구 질문

• RQ1 국지 및 전역 기상 변수만을 사용하는 모델과 비교해, 순환지수를 명시적 입력 토큰으로 통합함으로써 초기기상 화재 예측 정확도가 향상되는가?
• RQ2 화재 예측 과정에서 트랜스포머 모델의 주의 메커니즘이 다양한 데이터 소스(국지, 전역, 순환지수) 간에 집중을 어떻게 분배하는가?
• RQ3 다양한 기후 지역에서 순환지수의 예측 성능에 대한 상대 기여도는 어떠한가?
• RQ4 제안된 다중 척도, 다중 모odal 주의 메커니즘이 표준 U-Net++ 및 ViT 기준 모델보다 화재 면적 이상치 예측에서 뛰어난 성능을 보이는가?
• RQ5 기후 데이터를 1° 해상도로 군집화함으로써 모델 성능과 계산 효율성에 어떤 영향을 미치는가?

주요 결과

• TeleViT는 SeasFire 데이터셋에서 초기기상 화재 예측에 대해 U-Net++ 기준 모델 대비 평균 절대 오차(MAE)를 25% 감소시켰다.
• 모델은 다양한 기후 지구에서 뛰어난 일반화 능력을 보이며, ENSO 및 NAO 순환현상 영향을 받는 지역에서 뚜렷한 성능 향상을 보였다.
• 주의 맵 분석 결과, 모델이 중요한 예측 윈도우 동안 순환지수—특히 Niño 3.4 및 남반구 기압계수—를 우선적으로 고려하는 것을 확인했다.
• 학습 가능한 토큰으로서의 순환지수 통합은 특히 데이터가 적은 환경과 극단적인 화재 사건 동안 모델의 강인성을 향상시켰다.
• SeasFire 큐브를 평균 집계를 통해 1° 해상도로 군집화함으로써 모델 성능은 유지하면서 계산 부담을 약 40% 감소시켰다.
• 최고 성능을 보인 TeleViT 모델은 14일 예측 수준에서 예측된 화재 면적과 관측된 화재 면적 간 상관계수 0.78를 기록했다.