[论文解读] Is Disentanglement all you need? Comparing Concept-based & Disentanglement Approaches

Dmitry Kazhdan, Botty Dimanov+4 more|arXiv (Cornell University)|Apr 14, 2021

Explainable Artificial Intelligence (XAI)参考文献 14被引用 4

一句话总结

本文对比了基于概念的解释方法与解耦学习方法在可解释人工智能中的应用，表明两种最先进方法均存在数据效率低下、任务敏感性以及对概念表征选择的脆弱性。尽管两者在可解释性目标上一致，但均不具备普遍鲁棒性，凸显了设计与训练中的关键权衡。

ABSTRACT

Concept-based explanations have emerged as a popular way of extracting human-interpretable representations from deep discriminative models. At the same time, the disentanglement learning literature has focused on extracting similar representations in an unsupervised or weakly-supervised way, using deep generative models. Despite the overlapping goals and potential synergies, to our knowledge, there has not yet been a systematic comparison of the limitations and trade-offs between concept-based explanations and disentanglement approaches. In this paper, we give an overview of these fields, comparing and contrasting their properties and behaviours on a diverse set of tasks, and highlighting their potential strengths and limitations. In particular, we demonstrate that state-of-the-art approaches from both classes can be data inefficient, sensitive to the specific nature of the classification/regression task, or sensitive to the employed concept representation.

研究动机与目标

• 系统比较基于概念的解释方法与解耦学习方法在优势、局限性及基本假设方面的差异。
• 探究数据效率、任务依赖性以及概念表征差异对模型性能与可解释性的影响。
• 识别两种范式在训练数据、标注质量与目标函数设计方面相关的失败模式。
• 为未来可解释表征学习研究提供统一的基准库。
• 强调解耦学习本身并不能确保可解释性，且基于概念的方法也并非对概念表征选择天然鲁棒。

提出的方法

• 提出一个综合性库，实现最先进基于概念（CBM、CME）与解耦（基于VAE）模型，用于对比评估。
• 在dSprites与shapes3d数据集上开展受控实验，通过调整概念依赖关系与方差水平，隔离失败模式。
• 采用概念到任务依赖性分析，衡量不同任务下概念对下游标签的预测能力。
• 通过在逐步缩小的数据子集上训练模型，评估性能下降情况，以衡量数据效率。
• 通过操纵输入层面概念的显著性（如空间或颜色差异），在保持概念值不变的情况下测试概念方差脆弱性。
• 同时应用监督式（CBM）与事后提取式（CME）概念提取方法，并对比弱监督与无监督解耦方法。

实验结果

研究问题

• RQ1 在多样化任务下，基于概念与解耦方法在数据效率方面如何比较？
• RQ2 模型性能在多大程度上受下游分类或回归任务具体性质的影响？
• RQ3 概念的选择与表征方式（如颜色或空间方差）在多大程度上影响模型的鲁棒性与可解释性？
• RQ4 当概念表征存在噪声或模糊时，最先进模型的失败模式是什么？
• RQ5 仅靠解耦学习是否能确保人类可理解的表征，还是需要额外约束？

主要发现

• 最先进基于概念与解耦的模型均存在数据效率低下问题，在小规模数据集上训练时性能显著下降。
• 模型性能对下游任务的性质高度敏感，当任务依赖于多个或模糊的概念时，性能明显下降。
• 概念方差脆弱性是主要问题：即使概念值相同，输入层面的显著性差异（如RGB空间中的颜色距离）也会显著影响模型性能。
• 当任务依赖于未被提供概念捕捉的信息时，CBM会失效，导致概念表征出现‘杂质’，混入非概念性信息。
• CME方法严重依赖预训练特征提取器φ的质量，若隐层表征对概念预测无信息量，其可靠性将显著下降。
• 无监督解耦方法可学习无限多组潜在解，但若无显式监督，无法保证任何解具有可解释性或实用性。