[论文解读] Encoding formulas as deep networks: Reinforcement learning for zero-shot execution of LTL formulas

Yen‐Ling Kuo, Boris Katz+1 more|arXiv (Cornell University)|Jun 1, 2020

Machine Learning and Algorithms参考文献 18被引用 5

一句话总结

该论文提出了一种强化学习智能体，其使用组合式循环神经网络以零样本方式编码并执行任何未见过的线性时序逻辑（LTL）公式。通过根据LTL语法结构化网络并进行端到端训练，该智能体在符号和Minecraft类环境中对多样化、未见过的公式表现出高度泛化能力，对分布外公式的准确率分别达到符号领域97%和工艺领域73%。

ABSTRACT

We demonstrate a reinforcement learning agent which uses a compositional recurrent neural network that takes as input an LTL formula and determines satisfying actions. The input LTL formulas have never been seen before, yet the network performs zero-shot generalization to satisfy them. This is a novel form of multi-task learning for RL agents where agents learn from one diverse set of tasks and generalize to a new set of diverse tasks. The formulation of the network enables this capacity to generalize. We demonstrate this ability in two domains. In a symbolic domain, the agent finds a sequence of letters that is accepted. In a Minecraft-like environment, the agent finds a sequence of actions that conform to the formula. While prior work could learn to execute one formula reliably given examples of that formula, we demonstrate how to encode all formulas reliably. This could form the basis of new multitask agents that discover sub-tasks and execute them without any additional training, as well as the agents which follow more complex linguistic commands. The structures required for this generalization are specific to LTL formulas, which opens up an interesting theoretical question: what structures are required in neural networks for zero-shot generalization to different logics?

研究动机与目标

• 使强化学习智能体能够在未接触过的情况下执行任何未见过的LTL公式，实现零样本泛化。
• 通过结构化神经网络架构，将符号推理（LTL）与数据驱动的感知和控制相结合。
• 开发一个多任务学习框架，使单一智能体能够学习为大量多样化LTL公式组合策略。
• 探究端到端训练中联合训练特征提取器与LTL控制器的可行性与性能。
• 探索神经网络架构在跨逻辑形式系统中实现零样本泛化的理论极限。

提出的方法

• 智能体使用结构化、组合式的循环神经网络，其中每个LTL算子和谓词均由具有可学习循环状态的子网络表示。
• 子网络根据LTL公式的句法树层级连接，父节点与子节点之间通过线性层传递状态。
• 特征提取网络与LTL控制器联合端到端训练，将环境观测映射为动作预测的相关特征。
• 根节点的隐藏状态被解码为动作分布，从而通过强化学习实现策略学习。
• 采用多样化且难以求解的LTL公式生成机制，确保训练覆盖广泛的时序与空间约束。
• 模型在数千个公式上进行训练，并在新颖、未见过的公式上进行测试，以评估零样本泛化性能。

实验结果

研究问题

• RQ1 单一神经网络架构是否能够在无需微调或每公式预训练的情况下，泛化执行任何未见过的LTL公式？
• RQ2 在时序逻辑执行中，实现零样本泛化的必要架构组件是什么？
• RQ3 训练公式数量如何影响在分布外LTL公式上的零样本性能？
• RQ4 对组合网络进行端到端训练，联合训练感知与控制，是否能实现在多样化环境中的可靠执行？
• RQ5 神经网络中实现跨逻辑结构（如LTL）泛化的最小归纳偏置是什么？

主要发现

• 该模型在符号领域未见过的LTL公式上达到97%的准确率，在工艺领域达到73%，展现出强大的零样本泛化能力。
• 当使用10,000个训练公式时，模型在符号领域对分布外公式的泛化准确率达到90%，而使用1,000个公式时仅为65%，性能显著提升。
• 未见过公式的性能随训练数据量呈对数增长，对数拟合的决定系数R²为0.99，预测在约24,000个公式时准确率接近100%。
• 消融研究显示，若移除组合结构，性能将降至约66%，证明其对泛化至关重要。
• 即使在训练时公式和环境均未见过的情况下，该模型仍能有效泛化至更长的公式和新地图。
• 该方法显著优于基线模型，架构中的每个组件均对性能有关键贡献。