[论文解读] Carefully choose the baseline: Lessons learned from applying XAI attribution methods for regression tasks in geoscience

Antonios Mamalakis, Elizabeth A. Barnes+1 more|arXiv (Cornell University)|Aug 19, 2022

Explainable Artificial Intelligence (XAI)被引用 12

一句话总结

本文表明，在地球科学的回归任务中，XAI归因方法中基线的选择对可解释性具有决定性影响，特别是在神经网络预测气候变量时。通过使用全连接神经网络，从区域气候图预测全球平均温度，作者表明不同基线会产生显著不同的特征归因，每种归因对应不同的科学问题，强调必须根据研究背景有意识地选择基线。

ABSTRACT

Methods of eXplainable Artificial Intelligence (XAI) are used in geoscientific applications to gain insights into the decision-making strategy of Neural Networks (NNs) highlighting which features in the input contribute the most to a NN prediction. Here, we discuss our lesson learned that the task of attributing a prediction to the input does not have a single solution. Instead, the attribution results and their interpretation depend greatly on the considered baseline (sometimes referred to as reference point) that the XAI method utilizes; a fact that has been overlooked so far in the literature. This baseline can be chosen by the user or it is set by construction in the method s algorithm, often without the user being aware of that choice. We highlight that different baselines can lead to different insights for different science questions and, thus, should be chosen accordingly. To illustrate the impact of the baseline, we use a large ensemble of historical and future climate simulations forced with the SSP3-7.0 scenario and train a fully connected NN to predict the ensemble- and global-mean temperature (i.e., the forced global warming signal) given an annual temperature map from an individual ensemble member. We then use various XAI methods and different baselines to attribute the network predictions to the input. We show that attributions differ substantially when considering different baselines, as they correspond to answering different science questions. We conclude by discussing some important implications and considerations about the use of baselines in XAI research.

研究动机与目标

• 调查基线选择如何影响地球科学回归任务中XAI归因方法的可解释性。
• 证明不同基线对应回答不同的科学问题，从而影响从归因分析中得出的见解。
• 强调文献中对基线在XAI方法中关键作用的认识不足，尤其是在气候建模应用中。
• 利用大规模气候模拟集合提供实证证据，表明归因结果随基线选择显著变化。
• 指导研究人员根据其旨在回答的具体科学问题选择合适的基线。

提出的方法

• 本研究采用全连接神经网络，训练其从SSP3-7.0情景下的气候模拟生成的年均温度图中预测全球平均温度。
• 对训练好的模型应用多种XAI归因方法（例如，积分梯度、Grad-CAM、LRP），每种方法使用不同的基线输入。
• 基线包括零张量、平均气候状态和历史气候条件，每种代表归因的独立参考点。
• 归因计算为输入与基线之间模型输出的差异，不同方法在从基线到输入的路径上对梯度的积分方式不同。
• 通过分析归因图，评估基线选择如何改变特征重要性的空间模式和大小。
• 使用大规模历史与未来气候模拟集合，以确保研究结果的稳健性与泛化能力。

实验结果

研究问题

• RQ1 在地球科学应用的回归任务中，XAI归因方法的基线选择如何影响最终的特征重要性图？
• RQ2 不同基线在多大程度上导致对同一神经网络预测的科学解释产生分歧？
• RQ3 即使应用于同一模型和输入，同一XAI方法是否可能因基线选择不同而产生根本不同的洞察？
• RQ4 在气候科学中，使用默认或未经考虑的基线对XAI有何影响，特别是在解释强迫气候信号时？
• RQ5 研究人员应如何选择合适的基线，以确保XAI结果与预期的科学问题保持一致？

主要发现

• 即使使用相同的XAI方法和模型，不同基线也会产生显著不同的归因图，表明在未明确定义基线的情况下，归因并非唯一或客观的度量。
• 当基线从零基线切换到气候平均或历史基线时，归因模式发生显著变化，反映出对特征重要性不同的科学解读。
• 采用反映气候系统物理现实的基线（例如历史平均）可产生比零等任意选择更具可解释性和科学意义的归因结果。
• 基线选择实际上改变了所回答的问题：例如，'哪些特征偏离零？' 与 '哪些特征偏离平均状态？'
• 本研究发现，许多地球科学中XAI的应用可能因未审查或默认的基线选择而错误解读模型行为。
• 作者得出结论：基线选择必须是有意且与上下文相关的，不存在适用于所有情况的最优基线。