[论文解读] Interpreting Multivariate Interactions in DNNs

Hao Zhang, Yichen Xie+3 more|arXiv (Cornell University)|Oct 10, 2020

Neural Networks and Applications被引用 5

一句话总结

本文提出一种方法，通过使用Shapley值量化输入变量之间的多变量交互作用，来解释深度神经网络（DNNs）。通过识别形成原型表征的强相互作用特征组合，该方法揭示了DNN如何协同利用输入模式进行推理，实验结果证实了其在解释模型行为方面的有效性。

ABSTRACT

This paper aims to explain deep neural networks (DNNs) from the perspective of multivariate interactions. In this paper, we define and quantify the significance of interactions among multiple input variables of the DNN. Input variables with strong interactions usually form a coalition and reflect prototype features, which are memorized and used by the DNN for inference. We define the significance of interactions based on the Shapley value, which is designed to assign the attribution value of each input variable to the inference. We have conducted experiments with various DNNs. Experimental results have demonstrated the effectiveness of the proposed method.

研究动机与目标

• 通过多变量交互作用理解多个输入变量如何共同影响DNN预测。
• 识别并量化形成连贯特征组合的输入变量之间的显著交互作用。
• 开发一种基于博弈论（Shapley值）的方法，用于将预测贡献归因于输入变量组。
• 通过实证评估在多种DNN架构中证明该方法的有效性。

提出的方法

• 该方法使用Shapley值框架定义多变量交互作用，以公平地将模型输出归因于输入变量的组合。
• 通过测量输入变量组合对预测的边际贡献来量化交互作用的重要性。
• 该方法将输入变量建模为合作博弈中的参与者，其中值函数反映在包含输入子集时模型输出的变化。
• 交互强度基于不同组合中添加变量时Shapley值的差异进行计算。
• 该方法被应用于多种DNN，以提取并解释驱动预测的关键特征组合。

实验结果

研究问题

• RQ1 在DNN中，哪些输入变量组合表现出强烈的多变量交互作用？
• RQ2 如何利用博弈论原则公平地归因于输入变量组合的预测贡献？
• RQ3 所识别的相互作用特征组合在多大程度上对应于DNN中的有意义原型特征？
• RQ4 该方法在解释不同架构和数据集上的DNN行为方面有多有效？

主要发现

• 该方法成功识别出与DNN记忆的原型表征相对应的关键特征组合。
• 多变量交互作用显著贡献于模型预测，某些输入组的交互作用重要性显著偏高。
• 基于Shapley值的归因方法为不同DNN中的交互作用重要性提供了公平且一致的度量。
• 在多个DNN上的实证评估表明，该方法在解释复杂交互模式方面具有有效性。