[论文解读] LTL2Action: Generalizing LTL Instructions for Multi-Task RL

Pashootan Vaezipoor, Andrew Li+2 more|arXiv (Cornell University)|Feb 13, 2021

Reinforcement Learning in Robotics参考文献 55被引用 10

一句话总结

该论文提出 LTL2Action，一种深度强化学习框架，通过利用 LTL 演进和与环境无关的预训练，使智能体能够泛化到未见过的 LTL 规范任务。该方法通过在离散和连续环境中学习非短视、保持最优性的策略，实现了对组合爆炸级任务空间的泛化，优于短视方法。

ABSTRACT

We address the problem of teaching a deep reinforcement learning (RL) agent to follow instructions in multi-task environments. Instructions are expressed in a well-known formal language -- linear temporal logic (LTL) -- and can specify a diversity of complex, temporally extended behaviours, including conditionals and alternative realizations. Our proposed learning approach exploits the compositional syntax and the semantics of LTL, enabling our RL agent to learn task-conditioned policies that generalize to new instructions, not observed during training. To reduce the overhead of learning LTL semantics, we introduce an environment-agnostic LTL pretraining scheme which improves sample-efficiency in downstream environments. Experiments on discrete and continuous domains target combinatorial task sets of up to $\sim10^{39}$ unique tasks and demonstrate the strength of our approach in learning to solve (unseen) tasks, given LTL instructions.

研究动机与目标

• 使深度强化学习智能体能够在多任务环境中泛化到未见过的 LTL 规范任务。
• 克服短视方法将任务分解为独立子任务所导致的整体性能次优的局限性。
• 通过引入与环境无关的 LTL 预训练方案，提升样本效率和泛化能力。
• 利用 LTL 的组合语法和语义，实现训练数据的可扩展、自动生成。
• 在学习尊重复杂时间与逻辑约束的策略时，保持最优性保证。

提出的方法

• 该方法使用 LTL 演进——一种语义保持的重写操作——在执行过程中动态追踪 LTL 指令中尚未完成的部分。
• 通过 LSTM、GRU 或图神经网络（GNN）等神经架构编码 LTL 公式，支持与策略梯度联合端到端训练。
• 引入一种与环境无关的 LTL 预训练方案，以在不依赖下游环境的情况下学习 LTL 语义，从而提升下游任务的样本效率。
• 使用事件检测器从观测中识别领域特定的命题符号（例如，have-coffee），实现 LTL 公式的具象化。
• 通过深度强化学习训练策略，以最大化基于观测和编码后 LTL 指令的累积折扣回报。
• 通过为命题符号使用非独热编码的特征表示，该框架可实现对未见过命题的泛化，初步实验已验证此效果。

实验结果

研究问题

• RQ1 强化学习智能体是否能在无需进一步微调的情况下泛化到未见过的 LTL 规范任务？
• RQ2 使用 LTL 演进是否相比短视的任务分解方法能实现更好的泛化性和最优性？
• RQ3 与环境无关的 LTL 预训练在多大程度上提升了下游强化学习任务的样本效率？
• RQ4 在学习 LTL 条件策略方面，不同神经编码器（LSTM、GRU、GNN）的表现如何比较？
• RQ5 通过使用替代特征表示，该框架能否实现对未见过命题的泛化？

主要发现

• LTL2Action 框架在泛化性能方面显著优于将任务分解为独立子任务的短视方法。
• 在神经编码器中，GNN 在泛化到未见过的 LTL 指令方面优于 LSTM 和 GRU，尤其在复杂任务空间中表现更优。
• 与环境无关的 LTL 预训练方案显著提升了下游强化学习训练的样本效率，大幅减少了达到高性能所需的交互次数。
• 当为命题符号使用非独热特征表示时，该框架在初步实验中成功实现了对包含未见过命题的任务的泛化。
• 在离散和连续领域中的实验表明，该框架在高达约 10^39 个唯一任务的组合爆炸级任务集合中均表现出稳健性能。
• 使用 LTL 演进实现了尊重 LTL 公式完整时间结构的非短视策略学习，同时保持了最优性保证。