[论文解读] Generalize Symbolic Knowledge With Neural Rule Engine

Li Shen, Hengru Xu+1 more|arXiv (Cornell University)|Aug 30, 2018

Natural Language Processing Techniques参考文献 30被引用 9

一句话总结

该论文提出神经规则引擎（NRE），一种神经符号框架，通过将神经网络与符号逻辑规则结合，在保持精确性和可解释性的同时提升泛化能力。通过将正则表达式转换为可学习解析器与可重用符号模块的神经模块网络，NRE 实现了显著的召回率提升——最高达33.82%，在语义相似模式上表现出稳健的泛化能力，并优化了动作序列。

ABSTRACT

As neural networks have dominated the state-of-the-art results in a wide range of NLP tasks, it attracts considerable attention to improve the performance of neural models by integrating symbolic knowledge. Different from existing works, this paper investigates the combination of these two powerful paradigms from the knowledge-driven side. We propose Neural Rule Engine (NRE), which can learn knowledge explicitly from logic rules and then generalize them implicitly with neural networks. NRE is implemented with neural module networks in which each module represents an action of a logic rule. The experiments show that NRE could greatly improve the generalization abilities of logic rules with a significant increase in recall. Meanwhile, the precision is still maintained at a high level.

研究动机与目标

• 解决符号逻辑规则在低数据场景下泛化能力有限的问题。
• 在不牺牲精确性或可解释性的前提下，提升基于规则系统灵活性与鲁棒性。
• 将神经网络与符号逻辑结合，目的并非增强神经模型，而是增强符号知识本身。
• 开发一种可训练的模块化架构，基于学习到的布局动态组合规则执行。
• 实现在语义相似术语和重构动作序列上的有效规则泛化。

提出的方法

• 使用符号或神经解析器将正则表达式（REs）转换为动作树，受有限状态机解释的启发。
• 将每个 RE 动作实现为神经符号模块，结合自定义神经网络或符号算法。
• 构建神经模块网络（NMN），其中模块根据神经解析器预测的布局动态组合。
• 采用分阶段训练策略：先独立预训练各模块和神经规则解析器，再通过强化学习联合微调。
• 引入布局解析器，通过移除冗余或不相关动作来优化动作序列，提升泛化能力。
• 利用神经网络对语义变体（如 'taken from' → 'extracted from'，'sends into' → 'pushed into'）进行泛化，同时保持规则结构不变。

实验结果

研究问题

• RQ1 神经网络能否在不损害符号逻辑规则精确性的前提下，有效提升其泛化能力？
• RQ2 如何将神经模块集成到符号规则执行中，以实现在多样化语言模式上的灵活、动态推理？
• RQ3 神经布局解析器在规则系统中对动作序列的优化程度如何，能否提升召回率与鲁棒性？
• RQ4 所提出的框架在低资源 NLP 任务中能否泛化到未见过但语义相似的表达式？
• RQ5 结合强化学习的分阶段训练方法如何影响模块与规则解析的联合优化？

主要发现

• NRE 将召回率从基线正则表达式（17.79%）显著提升至 33.82%（PNAS_ 模型），同时保持精度高于 0.92。
• 模型能泛化至语义变体：'extracted from' 匹配 'taken from'，'originating' 匹配 'originate'，'pushed into' 匹配 'sends into'。
• 神经布局解析减少冗余动作——例如 '落水管' 和 '不锈钢管' 被泛化为 '管'，从而提升性能与鲁棒性。
• NRE 框架在中文刑事案件分类中成功泛化规则，通过优化动作序列正确识别出 'holding a blunt instrument'（由 'hammer' 和 'steel pipe' 表示）。
• 使用神经解析器进行动作序列优化，相比仅使用符号规则解析，性能更优，尤其在处理模糊或复杂模式时表现更佳。
• 结合强化学习的分阶段训练方法，实现了模块与布局的高效联合学习，带来稳定且高性能的规则执行。