[论文解读] Learning Deep Attribution Priors Based On Prior Knowledge

Ethan Weinberger, Joseph D. Janizek+1 more|arXiv (Cornell University)|Dec 20, 2019

Explainable Artificial Intelligence (XAI)参考文献 41被引用 5

一句话总结

本文提出了深度归因先验（DAPr）框架，该框架联合学习从元特征到全局特征重要性的映射，并通过正则化深度模型，使其生成的局部归因与所学先验保持一致。通过利用元特征中编码的先验知识，DAPr在低数据场景下提升了泛化能力，并实现了更具可解释性、更易为人理解的模型解释。

ABSTRACT

Feature attribution methods, which explain an individual prediction made by a model as a sum of attributions for each input feature, are an essential tool for understanding the behavior of complex deep learning models. However, ensuring that models produce meaningful explanations, rather than ones that rely on noise, is not straightforward. Exacerbating this problem is the fact that attribution methods do not provide insight as to why features are assigned their attribution values, leading to explanations that are difficult to interpret. In real-world problems we often have sets of additional information for each feature that are predictive of that feature's importance to the task at hand. Here, we propose the deep attribution prior (DAPr) framework to exploit such information to overcome the limitations of attribution methods. Our framework jointly learns a relationship between prior information and feature importance, as well as biases models to have explanations that rely on features predicted to be important. We find that our framework both results in networks that generalize better to out of sample data and admits new methods for interpreting model behavior.

研究动机与目标

• 解决特征归因方法在深度学习模型中产生有意义、非噪声基解释的挑战。
• 克服现有归因方法无法解释为何特定特征获得特定归因值的局限。
• 利用易于获取的元特征（如基因通路、电影类型）引导模型学习，而无需手工设计领域规则。
• 在样本量较小的设置下提升模型泛化能力，特别是在医学等高风险领域。
• 通过学习元特征与特征重要性之间的关系，实现新的可解释性方法，使其与已知的生物学或领域知识保持一致。

提出的方法

• 训练一个独立的先验模型，以元特征作为输入，预测全局特征重要性。
• 引入可微分的损失惩罚项，促使局部归因接近预测的全局重要性值。
• 在训练过程中端到端联合优化预测模型与先验模型。
• 使用基因通路、疾病关联或电影元数据等元特征，编码与领域相关的先验知识。
• 将该框架应用于合成数据以及两个真实世界的生物数据集（AML和阿尔茨海默病）。
• 通过检查已知生物通路中排名靠前的特征是否富集，验证所学先验的可解释性。

实验结果

研究问题

• RQ1 元特征能否用于学习一种可泛化的特征重要性先验，从而在低数据场景下提升模型性能？
• RQ2 与标准归因方法相比，DAPr框架是否能生成更具可解释性和可信度的模型解释？
• RQ3 所学习的元特征到特征重要性的关系能否与已知的生物学或领域特定知识进行验证？
• RQ4 在泛化能力和鲁棒性方面，DAPr与现有的基于正则化的归因方法相比表现如何？
• RQ5 DAPr框架在无需专家定义正则化函数的情况下，能在多大程度上应用于多样化领域？

主要发现

• 在训练数据有限的情况下，使用DAPr训练的模型在样本外数据上表现出更好的泛化性能。
• DAPr框架成功学习了与已知生物通路一致的元特征到特征重要性的关系，如AML相关通路中显著富集所示。
• 基于噪声的DAPr模型在FDR校正后未表现出显著通路富集，而AML驱动的DAPr模型则捕捉到了多个已知的AML相关通路。
• 先验模型在无需显式人工设计规则的情况下，独立学习到了有意义的特征重要性模式。
• 该框架通过提供对为何某些特征被认为重要的人类可理解解释，实现了新的可解释性方法。
• DAPr通过减少小样本数据集中对虚假相关性和噪声的依赖，提升了模型的可信度。