[论文解读] Neuro-Symbolic Artificial Intelligence: Current Trends

Md Kamruzzaman Sarker, Lu Zhou+2 more|arXiv (Cornell University)|May 11, 2021

Neural Networks and Applications参考文献 53被引用 8

一句话总结

本文提供了对神经符号人工智能（NeSy AI）当前趋势的结构化综述，整合了顶级人工智能会议的最新研究成果。它采用两种分类框架——Henry Kautz 2020年提出的分类法与2005年的分类法——突出展示了深度学习与符号推理的融合，以应对可解释性、数据效率和鲁棒性方面的局限性，同时指出了NeSy系统中更深层次整合复杂形式逻辑的迫切需求。

ABSTRACT

Neuro-Symbolic Artificial Intelligence -- the combination of symbolic methods with methods that are based on artificial neural networks -- has a long-standing history. In this article, we provide a structured overview of current trends, by means of categorizing recent publications from key conferences. The article is meant to serve as a convenient starting point for research on the general topic.

研究动机与目标

• 提供来自顶级人工智能会议的最新神经符号人工智能研究趋势的结构化、最新概述。
• 识别并对比两种分类框架——Kautz 2020分类法与2005年提案——以组织NeSy AI研究。
• 突出理论潜力与当前实现之间在利用复杂形式逻辑方面的持续差距。
• 主张应更加强调深化NeSy AI中的逻辑能力，包括采用分层与语义知识表示。
• 将NeSy AI定位为实现更鲁棒、可解释，并最终达到人类水平人工智能的关键路径。

提出的方法

• 本文使用Henry Kautz 2020年提出的NeSy AI分类框架，分析来自主要人工智能会议的近期出版物。
• 重新使用2005年的分类方案评估相同出版物，以对比NeSy研究在历史与当前趋势之间的差异。
• 研究符号推理在深度学习系统中的作用，特别是在术语重写、逻辑推理和语法执行等任务中的应用。
• 探究训练深度学习模型以在形式逻辑（如RDF和一阶逻辑）上执行演绎推理的可行性。
• 提出实验路径，以测试从平面元数据标签到分层知识库（如schema.org）等逐步提升的逻辑复杂度。
• 评估深度演绎推理器——经过训练以分类或回归逻辑结果的神经网络——作为未来NeSy系统核心组件的潜力。

实验结果

研究问题

• RQ1 当前顶级会议中的NeSy AI出版物在多大程度上集成了复杂形式逻辑，而非仅限于简单的符号操作？
• RQ2 是否可以系统性地训练深度学习系统，以良好掌握符号操作任务，如逻辑推理或术语重写？
• RQ3 如何通过逐步提升逻辑复杂度（如从事实到类层次结构）来改善NeSy AI系统的性能与鲁棒性？
• RQ4 在形式逻辑上训练深度神经网络执行演绎推理时，其可扩展性与性能存在哪些限制？
• RQ5 是否存在一条切实可行的路径，实现深度学习与符号推理的‘最佳结合’，特别是在可解释性与正确性方面？

主要发现

• 与二十年前相比，近期NeSy AI研究在复杂逻辑的使用上有所增加，但大多数工作仍停留在非逻辑的符号层面。
• 深度学习系统在演绎推理任务中表现不佳，尤其当逻辑复杂度增加时，表明存在显著的可扩展性与学习挑战。
• 使用平面元数据标签（如关键词）的系统可通过引入分层注释得到改进，表明更丰富的逻辑背景知识可带来渐进式提升。
• 整合语义网逻辑（如RDF与schema.org）为开发基础NeSy AI能力提供了有前景且可扩展的测试平台。
• 深度演绎推理器——经过训练以推断逻辑结果的神经模型——虽初现潜力，但在复杂形式系统上的性能与泛化能力仍有限。
• 需要系统性、分步探索NeSy AI中的逻辑复杂度，以实现鲁棒、可解释且可扩展的人工智能系统。