[논문 리뷰] Temporal Fusion Transformers for Streamflow Prediction: Value of Combining Attention with Recurrence

Sinan Rasiya Koya, Tirthankar Roy|arXiv (Cornell University)|2023. 05. 21.

Hydrology and Watershed Management Studies인용 수 7

한 줄 요약

이 논문은 주의(attention)와 재현성(recurrence)을 결합한 Temporal Fusion Transformers를 평가하여 전 세계 2,610개 유역에서 LSTM 및 Transformer 모델보다 우수한 성능을 보임을 보여준다.

ABSTRACT

Over the past few decades, the hydrology community has witnessed notable advancements in streamflow prediction, particularly with the introduction of cutting-edge machine-learning algorithms. Recurrent neural networks, especially Long Short-Term Memory (LSTM) networks, have become popular due to their capacity to create precise forecasts and realistically mimic the system dynamics. Attention-based models, such as Transformers, can learn from the entire data sequence concurrently, a feature that LSTM does not have. This work tests the hypothesis that combining recurrence with attention can improve streamflow prediction. We set up the Temporal Fusion Transformer (TFT) architecture, a model that combines both of these aspects and has never been applied in hydrology before. We compare the performance of LSTM, Transformers, and TFT over 2,610 globally distributed catchments from the recently available Caravan dataset. Our results demonstrate that TFT indeed exceeds the performance benchmark set by the LSTM and Transformers for streamflow prediction. Additionally, being an explainable AI method, TFT helps in gaining insights into the streamflow generation processes.

연구 동기 및 목표

• 장기 의존성과 시스템 역학을 모두 포착할 수 있는 고급 ML 아키텍처를 사용한 스트림플로우 예측 개선의 동기를 제시한다.
• 전 세계에 분포된 데이터셋에서 LSTM, Transformer, Temporal Fusion Transformer (TFT)의 성능 평가.
• 스트림플로우 생성 프로세스에 대한 통찰을 얻기 위한 설명가능한 AI 방법으로서 TFT의 해석가능성 평가.

제안 방법

• 스트림플로우 예측을 위해 세 모델(LSTM, Transformer, TFT)을 구성하고 비교한다.
• Caravan 데이터셋으로 전 세계에 분포된 2,610개 유역을 평가 벤치마크로 사용한다.
• 향상된 예측을 위해 재현과 주의 메커니즘을 통합하기 위해 TFT 적용.
• Baseline 재귀 및 주의 기반 접근법과 비교하여 모델 성능을 평가한다.
• TFT의 설명가능성 기능을 활용하여 스트림플로우 생성 역학을 해석한다.

실험 결과

연구 질문

• RQ1 TFT가 LSTM 및 Transformer 기반선보다 스트림플로우 예측을 개선하는가?
• RQ2 재현과 주의를 결합하는 것이 수문학에서 예측 정확도와 신뢰도에 어떤 영향을 미치는가?
• RQ3 TFT가 스트림플로우 생성 프로세스에 대한 설명가능한 통찰을 제공할 수 있는가?

주요 결과

• TFT가 스트림플로우 예측에서 LSTM 및 Transformer가 설정한 성능 벤치마크를 초과한다.
• 연구는 재현과 주의를 통합하면 수문 예측 작업에서 정확도 향상이 발생한다는 것을 보여준다.
• TFT는 스트림플로우 생성 프로세스에 대한 설명가능한 AI 능력을 제공한다.
• Caravan 데이터셋의 2,610개 전 세계 분포 유역에서 평가.
• 결과는 주의와 재현을 결합하는 것이 수문 예측 모델의 가치를 뒷받침한다.