[论文解读] Neural-Symbolic Computing: An Effective Methodology for Principled Integration of Machine Learning and Reasoning

Artur d’Avila Garcez, Marco Gori+4 more|arXiv (Cornell University)|May 15, 2019

Neural Networks and Applications被引用 127

一句话总结

对神经符号计算的综述，全面阐述将神经学习与符号知识进行原则性整合，以实现可解释、可问责的AI，包括面向规则、公式和嵌入表示的表示、学习和推理。

ABSTRACT

Current advances in Artificial Intelligence and machine learning in general, and deep learning in particular have reached unprecedented impact not only across research communities, but also over popular media channels. However, concerns about interpretability and accountability of AI have been raised by influential thinkers. In spite of the recent impact of AI, several works have identified the need for principled knowledge representation and reasoning mechanisms integrated with deep learning-based systems to provide sound and explainable models for such systems. Neural-symbolic computing aims at integrating, as foreseen by Valiant, two most fundamental cognitive abilities: the ability to learn from the environment, and the ability to reason from what has been learned. Neural-symbolic computing has been an active topic of research for many years, reconciling the advantages of robust learning in neural networks and reasoning and interpretability of symbolic representation. In this paper, we survey recent accomplishments of neural-symbolic computing as a principled methodology for integrated machine learning and reasoning. We illustrate the effectiveness of the approach by outlining the main characteristics of the methodology: principled integration of neural learning with symbolic knowledge representation and reasoning allowing for the construction of explainable AI systems. The insights provided by neural-symbolic computing shed new light on the increasingly prominent need for interpretable and accountable AI systems.

研究动机与目标

• 阐明将学习与推理整合以解决AI系统可解释性与问责性需求的动机。
• 概述神经符号系统的核心特征：表示、提取、推理和学习。
• 将神经网络中的符号知识表示归类为基于规则、基于公式和基于嵌入的方法。
• 描述神经符号方法如何在模块化、组合式架构中实现学习、推理和可解释性。
• 讨论面向严格AI的神经符号计算的趋势、挑战和未来方向。

提出的方法

• 描述将符号知识嵌入到神经网络中的表示映射（基于规则、基于公式、基于嵌入）。
• 解释在神经网络中进行一阶逻辑的命题化和底子句技术（CILP、CILP++、KBANN）。
• 讨论时态与模态扩展（CTLK、SCTL、NSCA），以在神经符号系统中实现随时间演化的知识和推理。
• 提出带有逻辑约束的学习（水平/垂直混合），以将先验知识与数据结合并实现知识迁移。
• 回顾近似可满足性与基于能量的方法（LTN、Penalty 逻辑、置信规则）用于可扩展的推理。
• 综述各种神经符号推理形式（前向/后向链式推理、可微推理、基于张量的表示）。

实验结果

研究问题

• RQ1 如何将符号知识与神经学习整合以产生可解释的AI系统？
• RQ2 将逻辑与神经网络结合的实际表示方案有哪些（基于规则、基于公式、基于嵌入）？
• RQ3 如何将时态与模态逻辑整合到神经符号架构中，以建模知识的演变与推理？
• RQ4 哪些学习策略（水平/垂直混合、知识约束、迁移）最有效地支持神经符号系统？
• RQ5 可扩展、可解释的神经符号计算面临的主要挑战和未来方向是什么？

主要发现

• 神经符号计算提供了将强大的神经学习与符号推理及提取结合起来、实现可解释AI的原则性路径。
• 知识表示可以分为基于规则、基于公式和基于嵌入的方法，每种在推理与学习方面各有权衡。
• 时态与模态逻辑可以与神经网络结合，以建模知识演化和多主体推理，从而提高模块性和可解释性。
• 利用先验符号知识和数据的混合学习策略可以提高泛化性并提供可扩展的推理。
• 本文强调通过神经符号整合走向更可解释、可问责的AI的趋势、挑战与未来方向。