[论文解读] Continuous Motion Planning with Temporal Logic Specifications using Deep Neural Networks

Chuanzheng Wang, Yinan Li+2 more|arXiv (Cornell University)|Apr 2, 2020

Reinforcement Learning in Robotics参考文献 29被引用 8

一句话总结

该论文提出了一种基于带注释的极限确定性Büchi自动机（LDBA）的深度强化学习方法，用于具有线性时序逻辑（LTL）规范的连续运动规划，通过密集奖励塑造实现。通过在每个训练回合开始时随机采样自动机状态（而非固定为初始状态），显著提升了样本效率和成功率，在模拟环境中对具有类汽车特性的机器人在复杂LTL任务上实现了63.3%的成功率。

ABSTRACT

In this paper, we propose a model-free reinforcement learning method to synthesize control policies for motion planning problems with continuous states and actions. The robot is modelled as a labeled discrete-time Markov decision process (MDP) with continuous state and action spaces. Linear temporal logics (LTL) are used to specify high-level tasks. We then train deep neural networks to approximate the value function and policy using an actor-critic reinforcement learning method. The LTL specification is converted into an annotated limit-deterministic Büchi automaton (LDBA) for continuously shaping the reward so that dense rewards are available during training. A naïve way of solving a motion planning problem with LTL specifications using reinforcement learning is to sample a trajectory and then assign a high reward for training if the trajectory satisfies the entire LTL formula. However, the sampling complexity needed to find such a trajectory is too high when we have a complex LTL formula for continuous state and action spaces. As a result, it is very unlikely that we get enough reward for training if all sample trajectories start from the initial state in the automata. In this paper, we propose a method that samples not only an initial state from the state space, but also an arbitrary state in the automata at the beginning of each training episode. We test our algorithm in simulation using a car-like robot and find out that our method can learn policies for different working configurations and LTL specifications successfully.

研究动机与目标

• 解决在复杂LTL规范下训练深度强化学习智能体进行连续运动规划时稀疏奖励的挑战。
• 克服标准强化学习方法依赖终端奖励所导致的高维连续控制问题中样本效率低下的局限性。
• 通过在回合初始化阶段采样自动机状态，实现密集的连续奖励信号，从而提升训练稳定性和收敛性。
• 利用带LDBA注释的奖励塑造，结合深度确定性策略梯度（DDPG）算法，实现对非线性机器人模型在复杂时间逻辑约束下的有效策略学习。
• 在模拟中展示对多样化初始状态和LTL规范的鲁棒性，包括非凸和受限环境。

提出的方法

• 将给定的LTL规范转换为带注释的极限确定性Büchi自动机（LDBA），以编码接受条件并支持连续奖励塑造。
• 提出一种新颖的训练方案：在每个回合开始时，同时采样一个初始机器人状态和一个来自LDBA的随机状态，而非固定为自动机的初始状态。
• 利用LDBA状态定义一个密集的、与状态相关的奖励函数，以在每一步引导智能体满足LTL公式。
• 应用深度确定性策略梯度（DDPG）算法，使用独立的演员和评论家神经网络，在高维状态和动作空间中学习连续控制策略。
• 将机器人动力学与LDBA的乘积MDP整合到单一环境中，其中评论家估计状态-动作值，演员通过策略梯度更新改进策略。
• 采用包含负向密集奖励（用于进度）、正向奖励（用于到达目标区域）以及违反约束时的惩罚（例如，在达到特定状态后进入禁区）的奖励函数。

实验结果

研究问题

• RQ1 通过带注释的LDBA实现密集奖励塑造，是否能提升在LTL规范下连续运动规划的深度强化学习的样本效率？
• RQ2 在回合开始时对自动机状态进行随机采样，是否相比固定初始化为自动机初始状态能显著提升学习性能？
• RQ3 所提出的方法能否成功学习涉及析取、时间顺序和约束（如在特定事件后避免某些区域）的复杂LTL公式的策略？
• RQ4 在非凸障碍物配置和多个初始状态下，该方法在模拟中的表现如何？
• RQ5 该方法在无需微调的情况下，对不同工作配置和LTL规范的泛化能力如何？

主要发现

• 在示例2中，所提方法在30个初始状态下实现了63.3%的成功率，而标准方法仅为13.3%，显著提升了样本效率。
• 在示例3中，方法在案例1中达到63.3%的成功率，在案例2中达到60%，优于标准方法的10%和6.7%，即使在存在复杂约束（如区域围堵）的情况下也表现更优。
• 该算法成功学习到在LTL公式要求下避免禁区（如区域c）的行为，例如在先到达区域b后避免进入禁区，展示了通过自动机实现的正确逻辑推理。
• 该方法使智能体能够根据初始位置动态选择最优路径——例如，当区域b通向禁区时，选择区域a而非b——展示了自适应决策能力。
• 在回合开始时对自动机状态进行随机采样，显著提升了训练稳定性和收敛性，尤其在具有多分支和时间依赖性的复杂LTL公式中效果明显。
• 模拟结果表明，该方法在不同初始位置和LTL规范间具有良好的泛化能力，能成功生成非线性类汽车机器人动力学的有效轨迹。