[논문 리뷰] Probing the limit of hydrologic predictability with the Transformer network

Jiangtao Liu, Yuchen Bian외 1명|arXiv (Cornell University)|2023. 06. 21.

Hydrological Forecasting Using AI인용 수 7

한 줄 요약

이 연구는 CAMELS 데이터셋을 사용하여 일일 유량 예측에 대해 Transformer 네트워크의 적용 가능성을 조사한다. 기존의 Transformer와 순환 구조가 없는 변종을 LSTM과 비교한다. 비록 기존의 Transformer는 수문학적 동역학과의 마르코프성 불일치로 인해 성능이 열 劣하나, 순환 구조가 없는 변종은 LSTM과 유사한 성능을 달성하여, 주의 기반 아키텍처를 활용한 수문학 모델링 향상 잠재력이 있음을 시사한다.

ABSTRACT

For a number of years since its introduction to hydrology, recurrent neural networks like long short-term memory (LSTM) have proven remarkably difficult to surpass in terms of daily hydrograph metrics on known, comparable benchmarks. Outside of hydrology, Transformers have now become the model of choice for sequential prediction tasks, making it a curious architecture to investigate. Here, we first show that a vanilla Transformer architecture is not competitive against LSTM on the widely benchmarked CAMELS dataset, and lagged especially for the high-flow metrics due to short-term processes. However, a recurrence-free variant of Transformer can obtain mixed comparisons with LSTM, producing the same Kling-Gupta efficiency coefficient (KGE), along with other metrics. The lack of advantages for the Transformer is linked to the Markovian nature of the hydrologic prediction problem. Similar to LSTM, the Transformer can also merge multiple forcing dataset to improve model performance. While the Transformer results are not higher than current state-of-the-art, we still learned some valuable lessons: (1) the vanilla Transformer architecture is not suitable for hydrologic modeling; (2) the proposed recurrence-free modification can improve Transformer performance so future work can continue to test more of such modifications; and (3) the prediction limits on the dataset should be close to the current state-of-the-art model. As a non-recurrent model, the Transformer may bear scale advantages for learning from bigger datasets and storing knowledge. This work serves as a reference point for future modifications of the model.

연구 동기 및 목표

• 기존의 RNN 모델인 LSTM보다 Transformer가 일일 유량 예측에서 승리할 수 있는지 평가하는 것.
• 다른 순차적 작업에서는 성공을 거둔 바에도 불구하고, 왜 Transformer가 수문학에서는 성능이 열 劣하는지 조사하는 것.
• 특히 순환 구조가 없는 변종과 같은 아키텍처 수정 사항이 수문학 모델링에서의 Transformer 성능 향상에 기여할 수 있는지 탐색하는 것.
• 최신 딥 러닝 모델을 활용해 수문 예측 가능성의 이론적 및 실용적 한계를 탐구하는 것.
• 다중 강하력 입력 통합이 모델 일반화 및 성능 향상에 기여하는지 평가하는 것.

제안 방법

• CAMELS 데이터셋을 사용해 일일 유량 예측을 위한 표준(기본) Transformer 인코더-디코더 아키텍처를 훈련시켰다.
• 순환 연결을 제거하고 순수하게 자기주의성 메커니즘에 의존하는 순환 구조가 없는 Transformer 변종을 구현했다.
• 저유량 및 고유량 조건에서 표준 수문학적 지표(예: Kling-Gupta 효율성(KGE))를 사용해 모델 성능을 비교했다.
• 강수량, 기온 등 다양한 기상 강하력 입력을 통합해 예측 정확도를 향상시키는 능력을 평가했다.
• 수문 시스템의 마르코프 성질과 관련된 제약 요인을 이해하기 위해 주의 패턴과 모델 행동을 분석했다.
• 공정한 비교를 위해 이전 벤치마크(예: CAMELS)와 동일한 훈련, 검증, 테스트 분할을 사용했다.

실험 결과

연구 질문

• RQ1 기본 Transformer 아키텍처가 CAMELS 벤치마크에서 일일 유량 예측에서 LSTM보다 뛰어난 성능을 낼 수 있는가?
• RQ2 기존의 Transformer는 다른 순차적 작업에서는 성공을 거두었지만, 왜 수문학 예측에서는 LSTM을 뛰어넘지 못하는가?
• RQ3 Transformer 아키텍처에서 순환 구조를 제거하면 수문 시계열 예측에서 성능 향상이 이루어지는가?
• RQ4 다중 강하력 입력 통합이 수문학에서 Transformer의 예측 능력을 얼마나 향상시킬 수 있는가?
• RQ5 최신 딥 러닝 모델을 통해 드러나는 수문 예측 가능성의 이론적 및 실용적 한계는 무엇인가?

주요 결과

• 기본 Transformer는 짧은 시간 동안의 수문학적 동역학을 효과적으로 모델링하지 못함으로써, 고유량 지표에서 특히 LSTM에 비해 열 劣한다.
• 순환 구조가 없는 Transformer 변종은 LSTM과 유사한 성능을 보이며, Kling-Gupta 효율성(KGE) 및 기타 핵심 지표에서 동등한 성능를 달성한다.
• 기본 Transformer가 성능 향상을 이룰 수 없는 것은 수문 시스템의 마르코프 성질이 LSTMs와 같은 메모리 기반 모델을 선호하기 때문으로 분석된다.
• Transformer와 LSTM 모두 다중 강하력 입력 통합에서 이점을 얻으며, 이는 데이터 융합이 모델 성능 향상의 핵심 요소임을 시사한다.
• 결과적으로 CAMELS 데이터셋에서 현재 최고 수준의 모델들이 수문 예측 가능성의 이론적 한계에 가까이 도달하고 있음을 시사한다.
• 순환 구조가 없는 Transformer는 향후 연구에 있어 잠재력을 보이며, 더 큰 데이터셋에서 학습하고 장기적 의존성을 저장할 수 있는 스케일 이점이 있다.