[论文解读] Identifying Opportunities for Skillful Weather Prediction with Interpretable Neural Networks

Elizabeth A. Barnes, Kirsten J. Mayer+3 more|arXiv (Cornell University)|Dec 14, 2020

Explainable Artificial Intelligence (XAI)参考文献 11被引用 12

一句话总结

本文提出使用可解释的深度神经网络结合逐层重要性传播（LRP）方法，识别能够实现3个月天气预测技能的大气与海洋条件。通过分析海表温度（SST）异常，该方法突出了最相关的区域，特别是热带东太平洋（ENSO），这些区域对西雅图附近地表气温异常的预测具有关键作用，揭示了可预测性增强背后的物理机制。

ABSTRACT

The atmosphere is chaotic. This fundamental property of the climate system makes forecasting weather incredibly challenging: it's impossible to expect weather models to ever provide perfect predictions of the Earth system beyond timescales of approximately 2 weeks. Instead, atmospheric scientists look for specific states of the climate system that lead to more predictable behaviour than others. Here, we demonstrate how neural networks can be used, not only to leverage these states to make skillful predictions, but moreover to identify the climatic conditions that lead to enhanced predictability. Furthermore, we employ a neural network interpretability method called ``layer-wise relevance propagation'' to create heatmaps of the regions in the input most relevant for a network's output. For Earth scientists, these relevant regions for the neural network's prediction are by far the most important product of our study: they provide scientific insight into the physical mechanisms that lead to enhanced weather predictability. While we demonstrate our approach for the atmospheric science domain, this methodology is applicable to a large range of geoscientific problems.

研究动机与目标

• 识别超出典型2周极限的亚季节天气预测中，能够实现高技能预测的具体气候状态。
• 开发一种机器学习框架，不仅能够预测，还能解释驱动可预测性的大气与海洋条件。
• 使用逐层重要性传播（LRP）生成可解释的热力图，识别对准确预测最具影响力的SST区域。
• 通过AI提取的空间模式，提供对增强可预测性背后动力机制（如ENSO）的物理解释。
• 建立一种可推广的方法论，适用于地球科学各领域，用于检测‘预测机会’。

提出的方法

• 训练一个具有两层隐藏层（每层8个ReLU激活神经元）的全连接前馈神经网络，用于分类西雅图附近3个月后地表气温异常的符号。
• 网络以COBE V2数据集提供的SST异常（4°×4°网格，共4050个输入特征）作为输入，并采用L2正则化防止过拟合。
• 训练采用Nesterov加速随机梯度下降，配合学习率调度和负对数似然损失函数，以优化预测置信度。
• 应用逐层重要性传播（LRP）生成输入显著性热力图，识别对网络预测影响最大的SST网格点。
• 对单一样本及最自信的前10%准确预测结果进行热力图分析，以揭示主导的预测区域。
• 输入与输出数据均基于1980–2009年气候基准进行标准化和去趋势处理，以考虑人为变暖的影响。

实验结果

研究问题

• RQ1 哪些特定的海表温度模式最能预测西雅图附近3个月的地表气温异常？
• RQ2 可解释的深度学习方法能否识别出‘预测机会’——即在混沌系统中超越随机噪声的增强可预测性实例？
• RQ3 LRP识别出的最关键输入区域与中纬度气候变异性已知的物理驱动因子（如ENSO）相比如何？
• RQ4 网络的注意力模式（通过LRP识别）在不同样本间的变化程度如何，是否表明可预测性具有情境依赖性？
• RQ5 该框架能否推广至大气预测以外的其他地球科学情境，以检测可预测性？

主要发现

• 在最自信预测的平均LRP热力图中，热带东太平洋SST异常（ENSO的典型特征）被识别为可预测性的主导驱动因素。
• 单一样本的LRP热力图显示，网络根据样本不同聚焦于不同区域，表明可预测性具有超越单一主导模式的情境依赖性。
• 最自信的前10%预测（即‘预测机会’）达到了高准确率，LRP突出了与已知气候机制一致的物理上有意义的区域。
• LRP热力图显示，中纬度东太平洋和热带太平洋对准确预测最为关键，与亚季节可预测性既定的动力理解一致。
• 该方法在不预先假设先验知识的情况下成功识别出可预测性的物理机制，证明了可解释性在气候建模中的价值。
• 该框架可推广至其他地球科学问题，为在复杂系统中检测与理解可预测性提供了可行路径。