[论文解读] A Survey on Neural-symbolic Learning Systems

Dongran Yu, Bo Yang+3 more|arXiv (Cornell University)|Nov 10, 2021

Neural Networks and Applications参考文献 94被引用 4

一句话总结

本综述提出了一套全面的神经符号学习系统分类法，将神经网络的感知能力与符号系统的推理能力相结合，以克服人工智能可解释性和泛化能力方面的局限。该综述整合了方法、挑战、应用及未来方向的最新进展，强调端到端学习、符号表示和知识构建是统一人工智能系统的关键研究前沿。

ABSTRACT

In recent years, neural systems have demonstrated highly effective learning ability and superior perception intelligence. However, they have been found to lack effective reasoning and cognitive ability. On the other hand, symbolic systems exhibit exceptional cognitive intelligence but suffer from poor learning capabilities when compared to neural systems. Recognizing the advantages and disadvantages of both methodologies, an ideal solution emerges: combining neural systems and symbolic systems to create neural-symbolic learning systems that possess powerful perception and cognition. The purpose of this paper is to survey the advancements in neural-symbolic learning systems from four distinct perspectives: challenges, methods, applications, and future directions. By doing so, this research aims to propel this emerging field forward, offering researchers a comprehensive and holistic overview. This overview will not only highlight the current state-of-the-art but also identify promising avenues for future research.

研究动机与目标

• 通过统一感知与推理能力，解决纯神经网络或纯符号人工智能系统的局限性。
• 识别并系统化神经符号学习中的关键挑战，包括知识表示、规则学习以及符号推理效率。
• 基于集成方法、应用场景及未来研究方向，提出神经符号系统的结构化分类法。
• 强调端到端学习、符号表示学习以及自动知识构建在可扩展人工智能系统中的重要性。
• 通过阐明可解释人工智能、机器人技术及医疗决策中的有前景研究方向，为未来研究提供指引。

提出的方法

• 基于集成方法、应用场景及未来研究方向，提出一种新颖的三部分神经符号学习系统分类法。
• 将方法分类为神经符号神经网络、可微逻辑以及与深度学习的符号集成等不同类别。
• 综述了符号表示学习技术，包括基于图的和异构表示学习，以建模复杂知识。
• 分析了自动构建符号知识的方法，特别是从数据中学习逻辑规则，重点聚焦于归纳逻辑编程（ILP）和数据驱动的规则挖掘。
• 整合认知科学的见解，如双过程理论（系统1与系统2），以阐明混合推理与感知的必要性。
• 通过对其在计算机视觉、自然语言处理和医疗等领域的优势、局限性及适用性的结构化分析，评估现有方法。

实验结果

研究问题

• RQ1 如何有效结合深度学习的感知能力与符号推理的可解释性，以实现神经符号系统？
• RQ2 在规则与知识获取方面，实现神经符号模型端到端学习的核心技术挑战是什么，尤其在这些方面？
• RQ3 如何改进符号表示学习，以准确捕捉语义相似谓词（如 'near' 与 'next to'）之间的语义相似性？
• RQ4 在传统人工智能任务之外，神经符号系统最具前景的应用领域有哪些？
• RQ5 在推动神经符号人工智能的可扩展性、泛化能力和可解释性方面，哪些未来研究方向最为关键？

主要发现

• 神经符号学习系统有效统一了感知与推理，使人工智能能够执行同时依赖数据驱动学习与逻辑推理的复杂任务。
• 当前的符号知识构建仍主要依赖人工操作，凸显了可扩展性的重大瓶颈，是未来自动从数据中学习规则的关键研究方向。
• 符号表示学习难以区分语义上相近的谓词（如 'near' 与 'next to'），限制了推理效率，亟需改进嵌入方法。
• 图表示学习，尤其是异构图嵌入，为以高表达力建模复杂、多模态的符号知识提供了有前景的路径。
• 神经符号系统在医疗诊断和自动驾驶等高风险领域展现出巨大潜力，因为这些领域对可解释性与鲁棒性要求极高。
• 双过程理论（系统1与系统2）的整合为设计兼顾速度与推理能力的混合人工智能系统提供了认知基础。