[论文解读] DISSECT: Disentangled Simultaneous Explanations via Concept Traversals

Asma Ghandeharioun, Been Kim+4 more|arXiv (Cornell University)|May 31, 2021

Explainable Artificial Intelligence (XAI)参考文献 49被引用 4

一句话总结

DISSECT 提出了一种生成式解释方法，通过使用最小监督联合训练生成器、判别器和概念解耦模块，生成解耦的概念遍历——即随着单一概念影响逐渐增强的一系列生成图像。该方法通过揭示单个概念的变化如何影响模型预测，实现了反事实推理，且在多种数据集上均表现出高保真度、强解耦性和稳定性。

ABSTRACT

Explaining deep learning model inferences is a promising venue for scientific understanding, improving safety, uncovering hidden biases, evaluating fairness, and beyond, as argued by many scholars. One of the principal benefits of counterfactual explanations is allowing users to explore "what-if" scenarios through what does not and cannot exist in the data, a quality that many other forms of explanation such as heatmaps and influence functions are inherently incapable of doing. However, most previous work on generative explainability cannot disentangle important concepts effectively, produces unrealistic examples, or fails to retain relevant information. We propose a novel approach, DISSECT, that jointly trains a generator, a discriminator, and a concept disentangler to overcome such challenges using little supervision. DISSECT generates Concept Traversals (CTs), defined as a sequence of generated examples with increasing degrees of concepts that influence a classifier's decision. By training a generative model from a classifier's signal, DISSECT offers a way to discover a classifier's inherent "notion" of distinct concepts automatically rather than rely on user-predefined concepts. We show that DISSECT produces CTs that (1) disentangle several concepts, (2) are influential to a classifier's decision and are coupled to its reasoning due to joint training (3), are realistic, (4) preserve relevant information, and (5) are stable across similar inputs. We validate DISSECT on several challenging synthetic and realistic datasets where previous methods fall short of satisfying desirable criteria for interpretability and show that it performs consistently well and better than existing methods. Finally, we present experiments showing applications of DISSECT for detecting potential biases of a classifier and identifying spurious artifacts that impact predictions.

研究动机与目标

• 解决现有可解释性方法在生成深度学习模型的保真度高、解耦性强且稳定的反事实示例方面存在的局限性。
• 通过生成逐项变化单一概念的图像序列，使用户能够探索“如果……会怎样”的情景，揭示每个概念如何影响分类器的决策。
• 自动发现分类器内在的概念表征，而无需依赖人工定义的概念或大量标注数据。
• 联合优化生成解释的保真度、解耦性、对预测的影响以及稳定性。

提出的方法

• DISSECT 使用多目标损失函数，联合训练生成器、判别器和概念解耦模块，以平衡保真度、解耦性和预测影响。
• 它生成概念遍历（CTs）——即在每一步中，单一解耦概念对分类器输出的影响逐渐增强的一系列图像。
• 该方法利用分类器的预测信号引导生成器，使其能够在无需先验概念标注的情况下，发现模型内部对概念的理解。
• 关键组件包括通过对比学习强制实现解耦的概念解耦模块，以及保留相关输入信息的重建损失。
• 训练目标包括对抗性损失（用于保真度）、重建损失（用于信息保留）以及确保对预测产生影响的概念特定损失。
• DISSECT 对生成器质量的变化具有鲁棒性，在使用性能欠佳的 GAN 时仍表现良好，并且在与高性能生成模型结合时，能保持高水平的解释质量。

实验结果

研究问题

• RQ1 生成模型能否在保持对相似输入的高保真度和稳定性的同时，生成解耦的反事实解释，且能清晰分离出单个概念？
• RQ2 DISSECT 是否能在不依赖人工定义概念或大量标注数据的情况下，自动发现有意义、具影响力且解耦的概念？
• RQ3 与独立的生成模型或事后解释方法相比，联合训练生成器、判别器和解耦模块在提升解释质量方面有何优势？
• RQ4 DISSECT 在多大程度上能够揭示分类器中的隐藏偏见或虚假特征，例如皮肤科分类中对手术标记的依赖？
• RQ5 底层 GAN 的质量以及超参数的选择在多大程度上影响生成的概念遍历的保真度、解耦性和影响力？

主要发现

• DISSECT 生成的概念遍历具有高度保真度，在基础架构上 FID 分数低至 42.109，且在相似输入间保持高度稳定性。
• 该方法实现了强解耦性，在 3D Shapes、SynthDerm 和 CelebA 数据集上，所有发现概念的“概念遍历重要性”（CT Importance）得分均高于 0.8。
• DISSECT 成功识别出黑色素瘤分类中的虚假特征（如手术标记），证明其在偏见检测方面的实用性。
• 即使在生成器质量欠佳（如 xxsmall 架构）的情况下，DISSECT 仍能保持高水平的概念重要性与区分度，展现出对生成质量的鲁棒性。
• 在 CelebA 数据集上，DISSECT 在概念遍历中的概念检测达到 99.868% 的精确率和 98.63% 的召回率，且具备高稳定性和影响力得分。
• 仅使用 GAN 的基线模型（无解耦或解释目标）完全失败，精确率和召回率均为 0%，凸显了联合训练目标的必要性。