[论文解读] Incorporating Relational Background Knowledge into Reinforcement Learning via Differentiable Inductive Logic Programming

Ali Payani, Faramarz Fekri|arXiv (Cornell University)|Mar 23, 2020

Reinforcement Learning in Robotics参考文献 17被引用 9

一句话总结

该论文提出了一种可微分归纳逻辑编程（dNL-ILP）框架，将关系背景知识整合到深度强化学习（RL）中，实现通过梯度优化的端到端训练。通过使用卷积神经网络（CNN）从视觉输入中提取一阶逻辑谓词来表示环境，该方法加速了学习过程并提升了泛化能力，在GridWorld任务中仅需700集即可收敛，而标准A2C方法则超过10⁸集仍未收敛，且在Sort-of-CLEVR任务中达到99%的准确率。

ABSTRACT

Relational Reinforcement Learning (RRL) can offers various desirable features. Most importantly, it allows for incorporating expert knowledge into the learning, and hence leading to much faster learning and better generalization compared to the standard deep reinforcement learning. However, most of the existing RRL approaches are either incapable of incorporating expert background knowledge (e.g., in the form of explicit predicate language) or are not able to learn directly from non-relational data such as image. In this paper, we propose a novel deep RRL based on a differentiable Inductive Logic Programming (ILP) that can effectively learn relational information from image and present the state of the environment as first order logic predicates. Additionally, it can take the expert background knowledge and incorporate it into the learning problem using appropriate predicates. The differentiable ILP allows an end to end optimization of the entire framework for learning the policy in RRL. We show the efficacy of this novel RRL framework using environments such as BoxWorld, GridWorld as well as relational reasoning for the Sort-of-CLEVR dataset.

研究动机与目标

• 解决传统关系强化学习在处理复杂视觉输入及与深度学习集成方面的局限性。
• 通过结合深度学习与归纳逻辑编程，实现在关系强化学习中端到端可微优化。
• 通过专家提供的背景知识（例如谓词如isItem、locked）引导策略学习，提升样本效率。
• 证明基于视觉数据的关系推理可借助可微分逻辑引擎有效学习。

提出的方法

• 使用可微分神经-逻辑网络（dNL-ILP）作为可微分推理引擎，以梯度兼容的方式计算逻辑推理。
• 通过CNN处理后的图像提取一阶逻辑谓词（例如color(X,Y,C)、isAgent(X,Y)、isItem(X,Y)）表示环境状态。
• 通过手工设计的谓词（例如isItem(X,Y) ← ¬isBackground(X,Y), ¬isAgent(X,Y)）集成专家背景知识，编码特定领域的归纳偏置。
• 利用策略梯度方法（如A2C）对整个RRL框架进行端到端训练，梯度通过可微分ILP引擎反向传播。
• 将该框架应用于BoxWorld和GridWorld等环境，其中状态表示为关系形式，动作基于物体位置定义。
• 通过学习谓词（如isCircle(X,Y)）并将它们用于逻辑查询，将该方法扩展至关系推理任务（如Sort-of-CLEVR）。

实验结果

研究问题

• RQ1 关系强化学习能否与深度学习有效结合以处理视觉输入并从图像中学习？
• RQ2 以逻辑谓词形式提供的专家背景知识是否能显著加速强化学习环境中的学习过程？
• RQ3 可微分ILP引擎是否能实现关系策略的端到端训练，使用标准梯度优化方法？
• RQ4 在复杂环境中，引入关系归纳偏置如何影响样本效率与泛化能力？
• RQ5 与非关系注意力机制模型相比，该框架在Sort-of-CLEVR等关系推理基准任务上是否能实现具有竞争力的性能？

主要发现

• 所提出的RRL框架在非分支GridWorld任务中仅用700集即实现收敛，而标准A2C方法在10⁸集后仍未收敛。
• 在动作假设中引入isItem(X,Y)谓词使所需训练集数减少四倍，证明了归纳偏置对样本效率的显著影响。
• 该模型在Sort-of-CLEVR关系推理基准上达到99%准确率，优于Santoro等人（2017）提出的非局部注意力方法的94%准确率。
• 通过逻辑谓词集成专家背景知识，显著加快并稳定了学习过程，尤其在稀疏奖励环境中表现更优。
• 可微分ILP引擎实现了通过逻辑推理的端到端反向传播，使整个策略学习流程可由标准深度强化学习优化器训练。
• 该框架成功将原始图像输入转化为结构化关系表示（如color(X,Y,C)、isCircle(X,Y)），实现了对视觉场景的逻辑推理。