[论文解读] How does this interaction affect me? Interpretable attribution for feature interactions

Michael Tsang, Sirisha Rambhatla+1 more|arXiv (Cornell University)|Jun 19, 2020

Explainable Artificial Intelligence (XAI)参考文献 54被引用 34

一句话总结

Archipelago 提供 ArchAttribute（面向交互的属性归因）和 ArchDetect（交互检测），以为黑箱模型中的特征交互提供可解释、公理化且可扩展的解释。它在情感分析和图像分类任务上相较于先前方法显示出更强的可解释性，并在文本、医学影像以及广告/推荐等领域给出可视化。

ABSTRACT

Machine learning transparency calls for interpretable explanations of how inputs relate to predictions. Feature attribution is a way to analyze the impact of features on predictions. Feature interactions are the contextual dependence between features that jointly impact predictions. There are a number of methods that extract feature interactions in prediction models; however, the methods that assign attributions to interactions are either uninterpretable, model-specific, or non-axiomatic. We propose an interaction attribution and detection framework called Archipelago which addresses these problems and is also scalable in real-world settings. Our experiments on standard annotation labels indicate our approach provides significantly more interpretable explanations than comparable methods, which is important for analyzing the impact of interactions on predictions. We also provide accompanying visualizations of our approach that give new insights into deep neural networks.

研究动机与目标

• 动机：解释特征交互如何驱动预测的可解释性需求。
• 提出 ArchAttribute，用于面向交互的特征归因，具有模型无关性与公理性。
• 引入 ArchDetect，以高效地识别不相交的交互集合和更高阶的交互。
• 给出实证证据，表明 Archipelago 在情感分析和图像分类任务上比基线方法产生更可解释的解释。
• 提供可视化，展示 NLP、医学影像以及广告/推荐场景中的交互。

提出的方法

• 定义统计学上的非加性交互，以形式化描述特征何时共同影响模型输出。
• 引入 ArchAttribute，通过 f(x*_I + x'_-I) - f(x') 将预测变化归因于交互特征集合。
• 提出集合归因公理，并证明 ArchAttribute 满足对特征集合的完备性及其他归因公理。
• 开发 ArchDetect，以离散混合偏导数解释来估计成对交互强度，并将成对交互合并成不相交的高阶交互集合，时间复杂度为 O(p^2)。
• 提供一个框架，通过将 ArchAttribute 归因与 ArchDetect 识别的交互相结合，在文本和图像领域可视化 Archipelago 解释。

实验结果

研究问题

• RQ1 如何以模型无关且公理化的方式对预测进行特征交互的归因？
• RQ2 我们能否高效地检测并将任意阶的交互合并为可解释的、彼此不相交的集合？
• RQ3 Archipelago 产生的交互归因是否与情感分析和图像分类中的真实标签或注释标签一致？
• RQ4 Archipelago 的可视化是否比现有方法提供对模型行为的更清晰洞见？

主要发现

• ArchAttribute 产生对特征交互的可解释、模型无关的归因，并满足扩展后的归因公理集，其中包括一个新的集合归因公理。
• ArchDetect 以 O(p^2) 的时间效率高效检测成对交互，并将它们合并为不相交的高阶交互集合，从而提高可处理性。
• 在情感分析和图像分类中，基于 Archipelago 的解释与真实注释的相关性明显高于若干基线方法（例如，ArchAttribute 在 SST 上达到高相关性分数，在基于 ImageNet/COCO 的评估中达到强段落 AUC）。
• Archipelago 的可视化揭示了文本中的局部与长程交互，并突出图像中与预测关联的语义上有意义的区域（例如胸部 X 线中的“great vessels”）。
• 与 IG、IH、STI、SI、SCD、SOC 等方法相比，ArchDetect 在合成任务上显示出更优的检测性能，ArchAttribute 在归因任务上优于基线。