[논문 리뷰] Deep multi-stations weather forecasting: explainable recurrent convolutional neural networks

Ismail Alaoui Abdellaoui, Siamak Mehrkanoon|arXiv (Cornell University)|2020. 09. 23.

Hydrological Forecasting Using AI참고 문헌 31인용 수 11

한 줄 요약

이 논문은 15년간의 18개 유럽 도시에 걸친 다기관 기상 예측을 위한 자기주의 주의(self-attention)를 갖춘 새로운 순환 합성곱 아키텍처인 Deep Attention Unistream Multistream (DAUM) 네트워크를 제안한다. 다스트림 입력 표현 방식과 자기주의 주의가 기온과 풍속 예측 정확도를 크게 향상시킨다는 것을 입증하였으며, 차폐 분석과 점수 최대화 분석을 통해 주요 특징과 도시(기온의 경우 브뤼셀, 풍속의 경우 해안 도시)를 규명하여 모델의 해석 가능성 향상을 이룩하였다.

ABSTRACT

Deep learning applied to weather forecasting has started gaining popularity because of the progress achieved by data-driven models. The present paper compares two different deep learning architectures to perform weather prediction on daily data gathered from 18 cities across Europe and spanned over a period of 15 years. We propose the Deep Attention Unistream Multistream (DAUM) networks that investigate different types of input representations (i.e. tensorial unistream vs. multistream ) as well as the incorporation of the attention mechanism. In particular, we show that adding a self-attention block within the models increases the overall forecasting performance. Furthermore, visualization techniques such as occlusion analysis and score maximization are used to give an additional insight on the most important features and cities for predicting a particular target feature of target cities.

연구 동기 및 목표

• 다양한 유럽 도시에서의 딥 러닝 기반 기상 예측을 향상시키기 위해, 단스트림과 다스트림 입력 표현 방식을 비교한다.
• 자기주의 주의 메커니즘의 통합이 기온과 풍속 예측 성능에 미치는 영향을 평가한다.
• 오염 분석과 점수 최대화 기법을 활용하여 가장 영향력 있는 기상 특징과 도시를 규명함으로써 모델의 해석 가능성을 향상시킨다.
• 해석 가능한 인공지능 기법을 활용하여 기상 예측의 시공간적 의존성에 대한 실질적인 통찰을 제공한다.

제안 방법

• 스패티오토르피컬 특징 학습을 위한 컨볼루션 리커런트 신경망(Conv-LSTM)과 자기주의 주의를 조합한 두 가지 딥 러닝 아키텍처인 Att-Unistream 및 Att-Multistream를 제안한다.
• 입력 표현을 텐서 형태로 표현하며, 단스트림(각 도시의 특징를 연결)과 다스트림(각 특징에 대해 별도의 스트림)을 사용하여 모델링 효율성을 비교한다.
• 네트워크 내부에 자기주의 주의 메커니즘을 통합하여 다양한 공간적·시간적 특징의 중요도를 동적으로 가중치를 조정한다.
• 입력 영역(공간적·시간적)을 마스킹하는 오염 분석을 적용하여 예측에 영향을 주는 핵심 특징과 도시를 규명한다.
• 특정 지연(lag)에 대해 모델 출력에 가장 큰 영향을 주는 입력 특징-도시 조합을 시각화하기 위해 점수 최대화 기법을 활용한다.
• 15년간의 일일 데이터를 바탕으로 18개 유럽 도시의 기온과 풍속에 대해 6일 후 예측을 위한 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 다스트림 입력 표현 방식이 다기관 기상 예측에서 단스트림 표현 방식보다 성능이 뛰어나다고 할 수 있는가?
• RQ2 자기주의 주의 메커니즘의 통합이 순환 합성곱 네트워크의 예측 정확도에 어떤 영향을 미치는가?
• RQ3 특정 목표 도시의 기온과 풍속을 예측하기 위해 가장 영향력 있는 기상 특징과 도시는 무엇인가?
• RQ4 시간 지연(lag)이 예측 성능에 어떤 영향을 미치며, 서로 다른 아키텍처는 어떤 지연 범위를 선호하는가?
• RQ5 오염 분석과 점수 최대화 기법이 지리적 맥락에서 모델 예측을 효과적으로 해석하는 데 기여하는가?

주요 결과

• 다스트림 입력 표현 방식은 기온과 풍속 예측 정확도에서 단스트림 표현 방식을 일관되게 뛰어넘었다.
• 자기주의 주의 메커니즘의 통합은 모든 평가 지표에서 모델 성능을 향상시켜 장거리 의존성을 더 잘 포착함을 시사하였다.
• 기온 예측의 경우 이슬점과 기압이 가장 영향력 있는 특징으로 규명되었으며, 중심 지리적 위치 덕분에 브뤼셀이 핵심 도시로 나타났다.
• 풍속 예측의 경우 최대 풍속과 풍속 특징이 가장 중요했으며, 바르셀로나, 암스테르담 등 해안 도시들이 중요한 역할을 하였다.
• Att-Unistream 모델은 최근의 시간 지연(1~2일)을 선호하는 반면, Att-Multistream 모델은 오래된 지연에 더 큰 중요도를 두어 서로 다른 시간 모델링 특성을 보였다.
• 점수 최대화 분석을 통해 가시도가 풍속 예측 전반에서 일관되게 가장 중요한 특징으로 규명되었으며, 기압 역시 상당한 기여를 하였다.