[论文解读] Logical Explanations for Deep Relational Machines Using Relevance Information

Ashwin Srinivasan, Lovekesh Vig+1 more|arXiv (Cornell University)|Jul 2, 2018

Explainable Artificial Intelligence (XAI)被引用 12

一句话总结

本文提出了一种方法，利用相关性信息作为先验，为深度关系机器（DRMs）的预测生成逻辑且符号化的解释。通过将一阶逻辑特征的随机命题化与类似贝叶斯的评分方法相结合，该方法在保持高预测性能的同时，生成了局部准确且具有意义的逻辑解释，反映了领域特定的相关性，从而在不牺牲准确性的前提下增强了可解释性。

ABSTRACT

Our interest in this paper is in the construction of symbolic explanations for predictions made by a deep neural network. We will focus attention on deep relational machines (DRMs, first proposed by H. Lodhi). A DRM is a deep network in which the input layer consists of Boolean-valued functions (features) that are defined in terms of relations provided as domain, or background, knowledge. Our DRMs differ from those proposed by Lodhi, which use an Inductive Logic Programming (ILP) engine to first select features (we use random selections from a space of features that satisfies some approximate constraints on logical relevance and non-redundancy). But why do the DRMs predict what they do? One way of answering this is the LIME setting, in which readable proxies for a black-box predictor. The proxies are intended only to model the predictions of the black-box in local regions of the instance-space. But readability alone may not enough: to be understandable, the local models must use relevant concepts in an meaningful manner. We investigate the use of a Bayes-like approach to identify logical proxies for local predictions of a DRM. We show: (a) DRM's with our randomised propositionalization method achieve state-of-the-art predictive performance; (b) Models in first-order logic can approximate the DRM's prediction closely in a small local region; and (c) Expert-provided relevance information can play the role of a prior to distinguish between logical explanations that perform equivalently on prediction alone.

研究动机与目标

• 开发一种生成符号化、逻辑化解释的方法，使其对深度关系机器（DRMs）的预测既易于阅读又具有意义。
• 通过将领域特定的相关性信息作为先验，改进现有的基于代理的解释方法，从而在可读性之外进一步提升解释的可解释性。
• 证明通过随机命题化构建的DRMs能够在无需完整ILP特征选择的情况下实现最先进水平的预测性能。
• 研究相关性引导的先验如何在逻辑等价的解释之间进行区分，优先选择与专家知识一致的解释。
• 为未来关于因果解释和模型预测的人类可理解性研究奠定基础。

提出的方法

• 采用随机命题化方法从背景知识中生成一阶逻辑特征，避免了对完整ILP特征选择的依赖。
• 在这些基于逻辑的特征上训练深度神经网络（DRM），以实现高精度预测。
• 通过构建近似DRM在实例空间小区域内的预测的逻辑模型，生成局部符号化解释。
• 应用类似贝叶斯的评分函数对候选逻辑解释进行排序，结合似然性（预测准确性）与基于专家知识推导出的相关性先验。
• 将相关性先验编码为对某些谓词或逻辑组合的偏好，反映领域专家对哪些概念具有意义的认知。
• 该方法使用符号学习器生成既局部准确又在领域知识上具有语义基础的一阶逻辑解释。

实验结果

研究问题

• RQ1 随机命题化方法是否能够生成在无需完整ILP特征选择的情况下实现最先进预测性能的DRMs？
• RQ2 一阶逻辑模型是否能够作为DRM预测的准确且有意义的局部解释？
• RQ3 专家提供的相关性信息是否能够作为有效先验，以区分逻辑等价的解释？
• RQ4 将相关性先验纳入考虑，如何在可读性之外进一步提升符号化解释的可解释性？
• RQ5 此类解释在多大程度上能够反映领域特定知识，并避免产生虚假或无关的逻辑结构？

主要发现

• 使用所提出的随机命题化方法构建的DRMs即使在小规模训练数据集上也能实现最先进水平的预测性能。
• 一阶逻辑模型能够在实例空间的小区域中紧密逼近DRM的预测，验证了其用作局部解释的有效性。
• 专家提供的相关性信息显著提升了解释质量，使模型更倾向于选择在概念上更有意义的逻辑形式，而非等价但不相关的替代形式。
• 采用相关性先验的类似贝叶斯方法成功平衡了预测准确性和语义相关性，生成了既准确又可解释的解释。
• 该方法表明，符号化解释可以兼具预测能力与意义，解决了纯粹可读但难以理解的模型的局限性。
• 实证结果表明，该方法在生成不仅可读且基于领域相关概念的解释方面，优于以往的基于代理的方法。