[论文解读] ELUDE: Generating interpretable explanations via a decomposition into labelled and unlabelled features

V. Ramaswamy, Sunnie S. Y. Kim+3 more|arXiv (Cornell University)|Jun 15, 2022

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

ELUDE 是一种新颖的解释框架，将深度学习模型的预测分解为可解释的语义属性和一组低维无标签特征，从而实现全局和局部可解释性。研究表明，仅需 8–16 个额外的无标签特征即可解释超过 80% 的模型预测，揭示了诸如 '保龄球馆' 和 '城堡式建筑' 等新的视觉概念，这些概念对模型决策至关重要。

ABSTRACT

Deep learning models have achieved remarkable success in different areas of machine learning over the past decade; however, the size and complexity of these models make them difficult to understand. In an effort to make them more interpretable, several recent works focus on explaining parts of a deep neural network through human-interpretable, semantic attributes. However, it may be impossible to completely explain complex models using only semantic attributes. In this work, we propose to augment these attributes with a small set of uninterpretable features. Specifically, we develop a novel explanation framework ELUDE (Explanation via Labelled and Unlabelled DEcomposition) that decomposes a model's prediction into two parts: one that is explainable through a linear combination of the semantic attributes, and another that is dependent on the set of uninterpretable features. By identifying the latter, we are able to analyze the "unexplained" portion of the model, obtaining insights into the information used by the model. We show that the set of unlabelled features can generalize to multiple models trained with the same feature space and compare our work to two popular attribute-oriented methods, Interpretable Basis Decomposition and Concept Bottleneck, and discuss the additional insights ELUDE provides.

研究动机与目标

• 解决基于属性的解释在完全捕捉复杂深度学习模型方面的局限性。
• 识别并分析模型预测中超出已有语义属性的未解释成分。
• 开发一种方法，通过将模型行为分解为可解释与不可解释部分，实现全局可解释性。
• 证明少量无标签特征可显著提升模型解释性能，超越仅依赖属性的方法。
• 展示无标签特征空间可在同一特征空间上训练的多个模型之间泛化。

提出的方法

• 在已知语义属性上训练线性分类器，以模拟黑箱模型的行为。
• 从黑箱模型的特征空间中计算低秩子空间投影，以捕捉未解释的成分。
• 将基于属性的解释与低秩特征表示相结合，以重建完整预测。
• 通过可视化和激活分析，解释无标签特征空间中各个维度的含义。
• 在 CUB 和 Places365 数据集上的标准 ResNet18 与概念瓶颈模型上应用该框架。
• 通过在相同数据分布上训练的多个模型之间学习共享的低秩子空间，评估泛化性能。

实验结果

研究问题

• RQ1 语义属性在多大程度上能够单独解释复杂深度学习模型的预测？
• RQ2 在考虑已知属性后，还需多少无标签特征才能解释模型行为的剩余部分？
• RQ3 无标签特征空间中浮现了哪些视觉概念，它们是否具有语义意义？
• RQ4 从一个模型学习到的低秩无标签特征空间是否能泛化到解释在相同数据上训练的其他模型？
• RQ5 基于属性的解释在标准模型与可解释性设计的模型（如概念瓶颈模型）之间的性能表现如何比较？

主要发现

• 对于 Places365 数据集上的 365 分类场景分类模型，仅需无标签特征空间中的 8 个维度即可解释超过 80% 的预测。
• 在 CUB 数据集上，16 维的无标签特征空间足以解释概念瓶颈模型中超过 80% 的预测。
• ELUDE 识别出的最重要属性中，平均仅有 2 个/类与原始概念瓶颈模型的属性重合（共 10 个属性）。
• 对无标签特征空间中高激活图像的可视化揭示了 '保龄球馆' 和 '城堡式建筑' 等有意义的概念。
• 无标签特征空间具有跨模型泛化能力：可在相同特征空间上训练的多个模型之间学习到一个共享的低秩子空间，并用于解释未见过的模型。
• 标准 ResNet18 模型对属性的依赖程度低于概念瓶颈模型，仅 26.6% 的预测可由属性单独解释，需达到秩 32 才能接近解释的上限。