[论文解读] An Empirical Evaluation of the Rashomon Effect in Explainable Machine Learning

Sebastian Müller, Vanessa Toborek+4 more|arXiv (Cornell University)|Jun 27, 2023

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

本文通过在四个不同数据集上评估模型、数据和归因方法的可变性，实证研究了可解释机器学习中的Rashomon效应。研究发现，超参数调优对稳定解释至关重要，不同方法间的分歧普遍存在且不一致，且相似性度量显著影响对解释多样性的感知——这挑战了解释作为认识论工具的可靠性。

ABSTRACT

The Rashomon Effect describes the following phenomenon: for a given dataset there may exist many models with equally good performance but with different solution strategies. The Rashomon Effect has implications for Explainable Machine Learning, especially for the comparability of explanations. We provide a unified view on three different comparison scenarios and conduct a quantitative evaluation across different datasets, models, attribution methods, and metrics. We find that hyperparameter-tuning plays a role and that metric selection matters. Our results provide empirical support for previously anecdotal evidence and exhibit challenges for both scientists and practitioners.

研究动机与目标

• 探究Rashomon效应（即多个高性能模型采用不同策略）对可解释人工智能（XAI）可靠性的影响。
• 评估针对特定模型的超参数调优对归因方法稳定性的影响。
• 评估在不同度量标准和模型架构下，解释比较的一致性与可靠性。
• 量化在现实场景中，不同归因方法之间解决方案多样性和分歧程度。
• 为长期存在的关于XAI应用中解释不一致性的传闻性担忧提供实证支持。

提出的方法

• 在三种不同比较场景下开展统一的实证评估：数值稳定性（相同模型、相同方法，不同超参数）、解决方案多样性（相同方法、不同模型权重）以及分歧性（相同模型上不同方法）。
• 在四个不同模态的数据集上应用五种流行的归因方法（如：Integrated Gradients、Grad-CAM、LIME）：表格数据（German Credit、Adult）、图像数据（CIFAR-10）和文本数据（AG News）。
• 采用原始度量（如：欧氏距离）和以人为中心的相似性度量（如：符号分歧、特征分歧、KS、LI）来比较归因分数。
• 对每个模型进行广泛的超参数调优，以评估解释输出的敏感性与稳定性。
• 使用统计指标（如平均距离、方差、跨数据集的排名一致性）评估结果。
• 采用结构化框架，将解释比较的三种不同视角统一于Rashomon效应的单一理论框架之下。

实验结果

研究问题

• RQ1 超参数调优在多大程度上影响不同模型上归因解释的稳定性？
• RQ2 在相同数据上训练的不同模型实例之间，解决方案多样性（即解释策略的变化）在多大程度上表现出来？
• RQ3 当使用不同相似性度量时，归因方法的排名一致性如何？
• RQ4 相似性度量的选择是否显著改变对不同归因方法间分歧程度的感知？
• RQ5 能否在多样化的数据集和模型架构之间实现一致且可靠的解释比较？

主要发现

• 超参数调优具有模型特异性：最优归因方法设置在不同模型和数据集间存在显著差异，因此必须针对每个模型进行调优才能获得稳定解释。
• 基于分歧的度量（如：符号分歧、特征分歧）产生的距离更大、方差更高，尤其在复杂模型上表现明显。
• 基于扰动的度量（KS、LI）表现出最一致的性能和最低的方差，表明其在跨模型解释比较中更具可靠性。
• 在使用分歧度量时，所有数据集上均未出现归因方法的稳定排名，表明方法比较存在高度不稳定性。
• 可行解释策略的解空间极为广阔，尤其在分歧度量下表现显著，凸显了依赖解释作为认识论工具的挑战。
• 本研究提供了量化证据，表明在模型间复用解释——即使性能相似——在关键应用中也是不可靠且可能具有误导性的。