[论文解读] Towards Explainable Neural-Symbolic Visual Reasoning
本文提出一种神经-符号可解释模型，直接从数据中构建知识库，利用符号推理约束学习，并据此揭示和纠正神经网络中的偏差，在图像描述任务中进行演示。
Many high-performance models suffer from a lack of interpretability. There has been an increasing influx of work on explainable artificial intelligence (XAI) in order to disentangle what is meant and expected by XAI. Nevertheless, there is no general consensus on how to produce and judge explanations. In this paper, we discuss why techniques integrating connectionist and symbolic paradigms are the most efficient solutions to produce explanations for non-technical users and we propose a reasoning model, based on definitions by Doran et al. [2017] (arXiv:1710.00794) to explain a neural network's decision. We use this explanation in order to correct bias in the network's decision rationale. We accompany this model with an example of its potential use, based on the image captioning method in Burns et al. [2018] (arXiv:1803.09797).
研究动机与目标
- 激励对AI的可解释性，并强调需要对非技术用户易于理解的解释。
- 提出一种神经-符号架构，将一个黑箱神经模型与一个来自数据的内在知识库（KB）耦合。
- 展示知识库如何揭示模型中的偏差并指导学习，以提高鲁棒性和性能。
- 通过将现有图像描述方法进行改造，以揭示推理过程和预测中的偏差来演示该方法。
提出的方法
- 在不使用外部提供的知识库的情况下，直接从数据填充KB，扩展Doran等人（2017）的神经-符号框架。
- 从第一个黑盒中提取符号规则，并在第二个黑盒中体现以约束学习（例如通过损失函数、初始化或超参数）。
- 定义一个推理组件（推理器），使用KB回答查询并将解释与最终输出关联。
- 将Burns等人（2018）的损失函数推广为通过Confusion Loss和Confidence Loss处理易出错的词语，在证据薄弱时鼓励中立，在证据充足时鼓励特异性。
- 在统一损失中将L_CE（交叉熵）与L_Confusion和L_Confidence结合，以平衡上下文使用和偏差感知的解释。
- 将模型应用于图像描述任务，使用基础描述网络（Vinyals等，2014）并推导出用于检测偏见的词集合B_word来指导KB。
- 通过推理器用自然语言解释预测，突出潜在偏差和学习过程。
实验结果
研究问题
- RQ1如何直接从神经网络学习数据中推导出知识库以支持真实可信的解释？
- RQ2神经-符号推理是否能减少视觉-语言任务中的偏差，并提供可解释的自然语言对模型决策的解释？
- RQ3如何设计损失函数使模型在有证据时自信、在证据不足时困惑，从而揭示偏差？
- RQ4在神经-符号图像描述/识别系统中，保持性能与实现可解释性之间有哪些权衡？
主要发现
- 所提出的模型能够检测神经网络中偏差的来源，并在上下文较弱时提供无偏的预测。
- 该方法产生的自然语言解释反映了模型基于损失的优化过程。
- 提取并使用数据驱动的KB可以约束学习并提高性能，同时使推理过程透明。
- 可以利用偏向词集合（B_word）来促进模型在可互换术语之间犹豫，减少过度泛化。
- 该方法展示了如何将高层符号推理与神经预测器耦合起来，在不牺牲准确性的前提下产生可信的解释。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。