[论文解读] Differentiable Logic Machines

Matthieu Zimmer, Xuening Feng+7 more|arXiv (Cornell University)|Feb 23, 2021

Reinforcement Learning in Robotics参考文献 32被引用 9

一句话总结

本文提出了可微逻辑机（Differentiable Logic Machine, DLM），一种新颖的神经-逻辑架构，通过谓词的可微松弛而非规则来学习可解释的一阶逻辑程序。通过在监督学习和强化学习设置中实现基于梯度的训练——包括自定义评论家和增量训练等创新——DLM在归纳逻辑编程和强化学习任务中均达到最先进性能，且在内存占用和推理时间方面相比先前方法具有更好的可扩展性。

ABSTRACT

The integration of reasoning, learning, and decision-making is key to build more general artificial intelligence systems. As a step in this direction, we propose a novel neural-logic architecture, called differentiable logic machine (DLM), that can solve both inductive logic programming (ILP) and reinforcement learning (RL) problems, where the solution can be interpreted as a first-order logic program. Our proposition includes several innovations. Firstly, our architecture defines a restricted but expressive continuous relaxation of the space of first-order logic programs by assigning weights to predicates instead of rules, in contrast to most previous neural-logic approaches. Secondly, with this differentiable architecture, we propose several (supervised and RL) training procedures, based on gradient descent, which can recover a fully-interpretable solution (i.e., logic formula). Thirdly, to accelerate RL training, we also design a novel critic architecture that enables actor-critic algorithms. Fourthly, to solve hard problems, we propose an incremental training procedure that can learn a logic program progressively. Compared to state-of-the-art (SOTA) differentiable ILP methods, DLM successfully solves all the considered ILP problems with a higher percentage of successful seeds (up to 3.5$ imes$). On RL problems, without requiring an interpretable solution, DLM outperforms other non-interpretable neural-logic RL approaches in terms of rewards (up to 3.9%). When enforcing interpretability, DLM can solve harder RL problems (e.g., Sorting, Path) Moreover, we show that deep logic programs can be learned via incremental supervised training. In addition to this excellent performance, DLM can scale well in terms of memory and computational time, especially during the testing phase where it can deal with much more constants ($>$2$ imes$) than SOTA.

研究动机与目标

• 设计一种神经-逻辑架构，以在推理与学习中实现可解释性、性能与可扩展性之间的平衡。
• 解决现有可微归纳逻辑编程与强化学习方法在可解释性或可扩展性方面的局限性。
• 在监督学习和强化学习设置中，通过梯度下降实现完全可解释逻辑程序的端到端训练。
• 通过新颖的评论家架构和增量训练，提升复杂任务下强化学习的训练效率。
• 在推理过程中有效扩展模型，尤其针对包含大量常量的问题。

提出的方法

• 为谓词分配可学习的连续权重，而非规则，从而实现一阶逻辑程序空间的连续松弛。
• 使用温度衰减的Gumbel-Softmax采样，以可微方式采样逻辑规则，同时保持可微性。
• 采用自定义评论家架构，加速演员-评论家强化学习训练，提升样本效率。
• 提出一种增量训练流程，逐步学习逻辑程序，增强对复杂问题的可扩展性。
• 在训练后应用argmax推理，从连续权重中提取完全可解释的逻辑公式。
• 在测试阶段采用紧凑的逻辑程序表示，以降低内存和计算成本。

实验结果

研究问题

• RQ1 可微神经-逻辑模型能否学习到在复杂推理任务中具有良好泛化能力的完全可解释逻辑程序？
• RQ2 与现有可微归纳逻辑编程和强化学习方法相比，DLM在成功率、训练速度和推理效率方面表现如何？
• RQ3 通过谓词的连续松弛强制实现可解释性，在多大程度上提升了可扩展性和性能？
• RQ4 所提出的评论家架构能否显著加速神经符号模型中的强化学习训练？
• RQ5 增量训练是否能提升模型解决复杂逻辑问题（如Path和Blocksworld）的能力？

主要发现

• 在Family Tree和Graph Reasoning任务中，DLM在95%的随机种子下成功学习到可解释规则，成功率高达99.8%。
• 在归纳逻辑编程任务中，DLM在多个随机种子下相比最先进可微ILP方法，成功率最高提升3.5倍。
• 在强化学习任务中，DLM相比不可解释的神经-逻辑基线模型，奖励最高提升3.9%，并成功解决了Path和Blocksworld等更复杂任务。
• 在推理阶段，DLM的可扩展性优于基线模型，可处理超过两倍的常量数量，且内存占用和计算时间显著更低。
• 消融实验表明，Gumbel噪声、温度衰减和Dropout均提升了模型学习可解释规则的能力。
• 所提出的评论家架构加速了演员-评论家强化学习训练，DLM与NLM在所有评估环境中均表现出更快的收敛速度。