[论文解读] Label-Free Explainability for Unsupervised Models

Jonathan Crabbé, Mihaela van der Schaar|arXiv (Cornell University)|Mar 3, 2022

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

本文通过将事后特征和样本重要性方法扩展至无标签的潜在表征解释，为无监督模型引入了无标签可解释性。提出使用显著性熵和归因比例来量化特征对潜在单元的影响，表明更高的解缠程度可降低显著性熵，从而在MNIST和dSprites数据集的自编码器中实现更集中、更具可解释性的表征。

ABSTRACT

Unsupervised black-box models are challenging to interpret. Indeed, most existing explainability methods require labels to select which component(s) of the black-box's output to interpret. In the absence of labels, black-box outputs often are representation vectors whose components do not correspond to any meaningful quantity. Hence, choosing which component(s) to interpret in a label-free unsupervised/self-supervised setting is an important, yet unsolved problem. To bridge this gap in the literature, we introduce two crucial extensions of post-hoc explanation techniques: (1) label-free feature importance and (2) label-free example importance that respectively highlight influential features and training examples for a black-box to construct representations at inference time. We demonstrate that our extensions can be successfully implemented as simple wrappers around many existing feature and example importance methods. We illustrate the utility of our label-free explainability paradigm through a qualitative and quantitative comparison of representation spaces learned by various autoencoders trained on distinct unsupervised tasks.

研究动机与目标

• 为解决无监督和自监督模型中潜在表征缺乏有意义标签而导致的可解释性不足问题。
• 将原本为有监督设置设计的事后解释技术扩展至无标签的无监督环境。
• 在不存在输出标签的表征空间中实现特征和样本重要性分析。
• 提供一种基于模型输入和潜在激活的、原则性且可泛化的黑箱表征解释框架。

提出的方法

• 通过基于梯度的显著性图计算输入特征对每个潜在单元的归因分数，提出无标签特征重要性。
• 定义归因比例 $ p_j(i,\boldsymbol{x}) = \frac{|a_i(\mu_j,\boldsymbol{x})|}{\sum_{k=1}^{d_H}|a_i(\mu_k,\boldsymbol{x})|} $，以在潜在单元间归一化重要性。
• 引入显著性熵 $ S(i,\boldsymbol{x}) = -\sum_{j=1}^{d_H} p_j(i,\boldsymbol{x}) \ln p_j(i,\boldsymbol{x}) $，作为特征敏感度在潜在单元间分布的度量。
• 将熵用作可解释性的代理指标：低熵表示每个特征主要影响一个主导潜在单元，从而增强解缠清晰度。
• 将该框架应用于在MNIST和dSprites上训练的变分自编码器（VAEs），并调整解缠超参数 $\beta$。
• 采用经验期望 $ \mathbb{E}_{\boldsymbol{X},I}[S(I,\boldsymbol{X})] $ 计算测试数据和特征上的平均显著性熵。

实验结果

研究问题

• RQ1 在无监督表征学习中缺乏标签的情况下，如何有意义地定义并计算特征重要性？
• RQ2 显著性熵能否作为无标签潜在空间中可解释性的可靠代理指标？
• RQ3 在VAE中提高解缠程度是否会导致更集中、更具可解释性的特征表征，表现为显著性熵降低？
• RQ4 现有事后解释方法在未经修改的情况下，能在多大程度上泛化至无标签环境？

主要发现

• 随着解缠强度 $\beta$ 的增加，显著性熵降低，表明特征敏感度更集中于更少的潜在单元。
• 在MNIST上，$\beta$ 与显著性熵的斯皮尔曼等级相关系数为 $\rho = -0.56$，显示强烈的负相关关系。
• 在dSprites上，相关系数为 $\rho = -0.76$，表明随着 $\beta$ 增加，熵值下降更显著，暗示可解释性得到改善。
• 尽管潜在单元之间存在高度相关性，但增加 $\beta$ 会减少每个特征同时激活的单元数量，从而降低熵。
• 熵值仍接近其最大值（MNIST为 $\ln 3 \approx 1.1$，dSprites为 $\ln 6 \approx 1.8$），表明大多数VAE仍对每个特征激活多个单元。
• 该框架通过简单的封装器成功将现有解释方法扩展至无标签环境，实现了对表征空间的定性和定量分析。