[论文解读] Evaluating Feature Importance Estimates

Sara Hooker, Dumitru Erhan+2 more|arXiv (Cornell University)|Jun 28, 2018

Explainable Artificial Intelligence (XAI)参考文献 20被引用 57

一句话总结

本文提出了 ROAR（RemOgive And Retrain），一个通过移除各方法所排名最重要的特征并测量模型准确率下降情况来评估深度神经网络中特征重要性估计器的基准。主要发现是，许多估计器的表现甚至不如随机分配，但对噪声估计的平方值进行平均可显著提升准确率，并超越随机表现。

ABSTRACT

Estimating the influence of a given feature to a model prediction is challenging. We introduce ROAR, RemOve And Retrain, a benchmark to evaluate the accuracy of interpretability methods that estimate input feature importance in deep neural networks. We remove a fraction of input features deemed to be most important according to each estimator and measure the change to the model accuracy upon retraining. The most accurate estimator will identify inputs as important whose removal causes the most damage to model performance relative to all other estimators. This evaluation produces thought-provoking results -- we find that several estimators are less accurate than a random assignment of feature importance. However, averaging a set of squared noisy estimators (a variant of a technique proposed by Smilkov et al. (2017)), leads to significant gains in accuracy for each method considered and far outperforms such a random guess.

研究动机与目标

• 为解决评估深度神经网络中特征重要性估计器准确性的挑战。
• 开发一个可靠的基准，用于比较估计输入特征影响的可解释性方法。
• 识别出哪些估计器最能准确反映特征对模型预测的真实影响。
• 探究通过集成平均噪声估计是否能提升性能，超越随机分配。

提出的方法

• 提出 ROAR（RemOve And Retrain），一个通过移除各估计器所排名最重要的特征并重新训练模型来评估的基准。
• 在重新训练后测量模型准确率的下降，以评估被移除特征的真实影响。
• 根据特征移除后准确率下降的幅度，比较不同特征重要性估计器的性能。
• 应用 Smilkov 等人（2017）方法的变体：对噪声估计的平方值进行平均，以提升估计准确率。
• 使用模型性能的相对变化作为估计器准确率的代理指标，准确率下降越大，表示对重要特征的识别越准确。

实验结果

研究问题

• RQ1 现有特征重要性估计器在多大程度上准确反映了输入特征对模型预测的真实影响？
• RQ2 通过集成平均噪声估计，能否提升特征重要性估计器的性能？
• RQ3 是否存在某些估计器在识别对模型性能至关重要的特征方面优于随机分配？
• RQ4 在重新训练后，移除由不同估计器排名最重要的特征会对模型准确率产生何种影响？

主要发现

• 多个特征重要性估计器在识别关键影响特征方面表现甚至不如随机分配。
• 对噪声估计的平方值进行平均，可显著提升所有评估方法的准确率。
• 平均后的估计器优于随机猜测，并在所有测试方法中达到最高准确率。
• ROAR 基准揭示，许多广泛使用的估计器在衡量真实特征重要性方面缺乏可靠性。