[论文解读] Interpretable Neural-Symbolic Concept Reasoning

Pietro Barbiero, Gabriele Ciravegna+8 more|arXiv (Cornell University)|Apr 27, 2023

Explainable Artificial Intelligence (XAI)参考文献 57被引用 6

一句话总结

本文提出了深度概念推理器（DCR），这是首个可解释的概念基础模型，能够从神经概念嵌入中构建符号逻辑规则，实现可微分的、语义有意义的推理。DCR在保持可解释性的同时，将准确率提升至SOTA水平——相比先前模型最高提升25%，并能发现人类可理解的规则，且在无概念监督的情况下实现反事实样本生成。

ABSTRACT

Deep learning methods are highly accurate, yet their opaque decision process prevents them from earning full human trust. Concept-based models aim to address this issue by learning tasks based on a set of human-understandable concepts. However, state-of-the-art concept-based models rely on high-dimensional concept embedding representations which lack a clear semantic meaning, thus questioning the interpretability of their decision process. To overcome this limitation, we propose the Deep Concept Reasoner (DCR), the first interpretable concept-based model that builds upon concept embeddings. In DCR, neural networks do not make task predictions directly, but they build syntactic rule structures using concept embeddings. DCR then executes these rules on meaningful concept truth degrees to provide a final interpretable and semantically-consistent prediction in a differentiable manner. Our experiments show that DCR: (i) improves up to +25% w.r.t. state-of-the-art interpretable concept-based models on challenging benchmarks (ii) discovers meaningful logic rules matching known ground truths even in the absence of concept supervision during training, and (iii), facilitates the generation of counterfactual examples providing the learnt rules as guidance.

研究动机与目标

• 通过在概念表征中保留语义意义，解决概念基础深度学习中的可解释性-准确率权衡问题。
• 克服高维概念嵌入的局限性，尽管其提升了模型性能，但缺乏可解释的语义。
• 开发一个统一的、端到端可微分框架，将神经学习与概念嵌入上的符号推理相结合。
• 通过生成人类可读的逻辑规则来实现模型透明化，从而解释预测结果，而无需依赖黑箱神经组件。
• 通过利用训练期间学习到的显式、可解释的逻辑规则，支持反事实样本的生成。

提出的方法

• 使用神经网络将概念嵌入组合成句法规则结构，而非直接用于预测。
• 通过可微分激活函数将概念嵌入转换为真值度，以支持模糊逻辑推理。
• 构建加权逻辑规则（例如，使用t-范数和t-余范数），通过可微分算子组合多个概念。
• 在真值度上执行这些规则，以可微分方式生成最终的、可解释的预测。
• 使用损失函数端到端训练整个系统，以同时优化任务准确率和与真实概念的规则一致性。
• 集成概念编码器，将原始输入（图像、表格、图）映射到概念空间，当输入特征缺乏语义意义时使用。

Figure 1: (a) An interpretable concept-based model $f$ maps concepts $\hat{C}$ to tasks $\hat{Y}$ generating an interpretable rule. When input features are not semantically meaningful, a concept encoder $g$ can map raw features to a concept space. (b) The proposed approach (DCR) outperforms interpre

实验结果

研究问题

• RQ1 概念基础模型能否在保持高准确率的同时，通过符号逻辑规则实现完全可解释的决策过程？
• RQ2 即使在训练期间未提供显式概念监督，能否从概念嵌入中发现有意义且语义一致的逻辑规则？
• RQ3 所学习的符号规则在多大程度上能够以人类可理解的方式支持反事实样本生成？
• RQ4 通过可解释逻辑规则推理的模型性能，与当前最先进的可解释模型和黑箱模型相比如何？
• RQ5 在概念嵌入上进行可微分符号推理，能否优于完全依赖嵌入表示以实现可解释性的模型？

主要发现

• DCR在具有挑战性的基准测试中，相比SOTA可解释概念基础模型，任务准确率最高提升25%。
• 即使在训练期间未提供概念监督，该模型仍能发现与已知真实关系一致的逻辑规则。
• DCR通过利用学习到的符号规则作为可解释的指导，实现了高效的反事实样本生成。
• DCR的布尔规则聚合行为近似于全局模型行为，并与已知的事实关系一致。
• DCR通过在符号规则中显式编码决策过程，保持了可解释性，而不同于黑箱神经模型或推理过程隐含的神经符号系统。
• 该模型在多种数据类型（包括表格、图像和图数据）上均表现出强大的泛化能力，同时保持了语义可解释性。

Figure 3: Mean ROC AUC for task predictions for all baselines across all tasks (the higher the better). DCR often outperforms interpretable concept-based models. CE stands for concept embeddings, while CT for concept truth degrees. Models trained on concept embeddings are not interpretable as concep