[论文解读] Deep multi-stations weather forecasting: explainable recurrent convolutional neural networks

Ismail Alaoui Abdellaoui, Siamak Mehrkanoon|arXiv (Cornell University)|Sep 23, 2020

Hydrological Forecasting Using AI参考文献 31被引用 11

一句话总结

本文提出深度注意力单流多流网络（DAUM），一种新颖的循环卷积架构，结合自注意力机制，用于在15年期间对18个欧洲城市的多站天气预报。结果表明，多流输入表示和自注意力机制显著提升了温度和风速预测的准确性，而遮挡分析与得分最大化分析揭示了关键特征与城市（如温度预测中的布鲁塞尔、风速预测中的沿海城市），增强了模型的可解释性。

ABSTRACT

Deep learning applied to weather forecasting has started gaining popularity because of the progress achieved by data-driven models. The present paper compares two different deep learning architectures to perform weather prediction on daily data gathered from 18 cities across Europe and spanned over a period of 15 years. We propose the Deep Attention Unistream Multistream (DAUM) networks that investigate different types of input representations (i.e. tensorial unistream vs. multistream ) as well as the incorporation of the attention mechanism. In particular, we show that adding a self-attention block within the models increases the overall forecasting performance. Furthermore, visualization techniques such as occlusion analysis and score maximization are used to give an additional insight on the most important features and cities for predicting a particular target feature of target cities.

研究动机与目标

• 通过在多个欧洲城市比较单流与多流输入表示，提升基于深度学习的天气预报性能。
• 评估在循环卷积网络中集成自注意力机制对温度与风速预报性能的影响。
• 通过遮挡分析与得分最大化技术，识别最具影响力的气象特征与城市，提升模型可解释性。
• 利用可解释人工智能技术，提供关于天气预报中时空依赖关系的可操作洞察。

提出的方法

• 提出两种深度学习架构：Att-Unistream与Att-Multistream，结合Conv-LSTM与自注意力机制，以实现时空特征学习。
• 采用张量化输入表示——单流（按城市拼接特征）与多流（按特征分别处理）——以比较建模效率。
• 在模型中集成自注意力机制，以动态加权不同空间与时间特征的重要性。
• 通过遮挡分析，对输入区域（空间与时间）进行掩码处理，识别影响预测的关键特征与城市。
• 采用得分最大化技术，可视化在特定滞后范围内，哪些输入特征-城市对最影响模型输出。
• 使用15年期间18个欧洲城市的每日数据，对6天后温度与风速进行模型训练。

实验结果

研究问题

• RQ1 在多站天气预报中，多流输入表示是否优于单流表示？
• RQ2 在循环卷积网络中集成自注意力机制如何影响预报准确性？
• RQ3 在特定目标城市中，哪些气象特征与城市对温度与风速预测最具影响力？
• RQ4 时间滞后如何影响预测性能？不同架构是否更偏好特定的滞后范围？
• RQ5 遮挡分析与得分最大化技术是否能有效在地理空间背景下解释模型预测？

主要发现

• 多流输入表示在温度与风速预报的准确性上始终优于单流表示。
• 集成自注意力机制后，所有评估指标下的模型性能均得到提升，表明其更有效地捕捉了长程依赖关系。
• 在温度预测中，露点与气压被识别为最具影响力的特征，而布鲁塞尔因其地理中心位置成为关键城市。
• 在风速预测中，最大风速与风速特征最为关键，沿海城市如巴塞罗那与阿姆斯特丹发挥重要作用。
• Att-Unistream模型更偏好近期时间滞后（第1–2天），而Att-Multistream模型则显示出对更早滞后（如第3–5天）的更高重要性，表明其在时间建模行为上存在差异。
• 得分最大化分析表明，能见度在所有滞后范围内均为风速预测中最关键的特征，气压也具有显著贡献。