[论文解读] Explaining Trained Neural Networks with Semantic Web Technologies: First Steps

Md Kamruzzaman Sarker, Ning Xie+3 more|arXiv (Cornell University)|Oct 11, 2017

Anomaly Detection Techniques and Applications参考文献 13被引用 28

一句话总结

本文提出了一种新颖的方法，通过整合结构化的语义网知识（例如RDF/OWL本体）来解释训练好的神经网络，生成人类可理解的非命题性解释。利用DL-Learner等工具以及SUMO中的背景知识，生成逻辑概念描述（例如“包含一片水域”），以解释图像分类结果，通过在仓库、市场和山脉图像数据集上的初步实验验证了其可行性。

ABSTRACT

The ever increasing prevalence of publicly available structured data on the World Wide Web enables new applications in a variety of domains. In this paper, we provide a conceptual approach that leverages such data in order to explain the input-output behavior of trained artificial neural networks. We apply existing Semantic Web technologies in order to provide an experimental proof of concept.

研究动机与目标

• 为解决黑箱神经网络中缺乏人类可解释性解释的问题，尤其是在安全关键应用中。
• 超越命题规则提取，利用RDF/OWL本体中的非命题语义知识。
• 整合外部结构化知识（例如SUMO、Wikidata），以简化并丰富神经网络行为的解释。
• 探索利用语义背景知识解释输入-输出映射关系以及内部神经元激活。
• 为使用语义网技术实现神经符号融合建立概念和实验基础。

提出的方法

• 利用现有的语义网技术，包括RDF用于知识表示，OWL用于本体建模，以编码背景知识。
• 使用DL-Learner工具从训练数据和背景知识中自动推导出逻辑概念描述（描述逻辑形式）。
• 将输入特征（例如通过目标检测识别出的图像对象）映射到SUMO等正式本体中的概念。
• 将解释表述为逻辑表达式（例如∃contains.BodyOfWater），以描述导致分类结果的语义条件。
• 通过使用正样本和负样本图像来训练解释生成器，将该方法应用于图像分类任务。
• 利用本体层次结构（例如“橡树”和“枫树”作为“树”的子类）来泛化并简化解释。

实验结果

研究问题

• RQ1 结构化的语义网知识是否能够超越命题规则提取，提升神经网络预测的可解释性？
• RQ2 如何从神经网络输入中自动生成非命题性、基于概念的解释（例如“包含一片水域”）？
• RQ3 来自SUMO等本体的背景知识在多大程度上能够生成更简洁且更有意义的解释？
• RQ4 人类监控者是否能够利用这些解释检测并纠正模型的误分类，例如遗漏关键视觉特征？
• RQ5 背景知识的选择在多大程度上影响生成解释的质量和准确性？

主要发现

• 该方法成功为山脉图像生成了语义上合理的解释，例如“包含一片水域”，且与视觉内容一致。
• 解释如“既不包含家具也不包含工业用品”能够正确区分工作间与仓库，即使目标检测不完整。
• 系统识别出模型在仓库图像中遗漏了叉车司机，表明该方法具有支持人机协同纠错的潜力。
• 使用本体泛化（例如将“树”作为“橡树”和“枫树”的超类）降低了解释复杂度，支持了背景知识可简化解释的假设。
• 在实验中，解释与视觉特征一致（例如山脉图像中存在河流/湖泊），验证了该方法与输入数据的一致性。
• 该方法展示了利用现有语义网技术栈和DL-Learner等工具生成非命题性、人类可读解释的可行性。