[论文解读] Combining Neural Networks and Tree Search for Task and Motion Planning in Challenging Environments

Chris Paxton, Vasumathi Raman+2 more|arXiv (Cornell University)|Mar 22, 2017

Reinforcement Learning in Robotics参考文献 16被引用 23

一句话总结

该论文提出了一种混合规划框架，结合深度强化学习与蒙特卡洛树搜索（MCTS），以解决动态环境中复杂的任务与运动规划问题，采用学习到的低层控制策略和由线性时序逻辑（LTL）规范引导的高层选项策略。该方法在模拟的自动驾驶场景中实现了近乎完美的性能，显著优于未使用学习高层策略的基线方法。

ABSTRACT

We consider task and motion planning in complex dynamic environments for problems expressed in terms of a set of Linear Temporal Logic (LTL) constraints, and a reward function. We propose a methodology based on reinforcement learning that employs deep neural networks to learn low-level control policies as well as task-level option policies. A major challenge in this setting, both for neural network approaches and classical planning, is the need to explore future worlds of a complex and interactive environment. To this end, we integrate Monte Carlo Tree Search with hierarchical neural net control policies trained on expressive LTL specifications. This paper investigates the ability of neural networks to learn both LTL constraints and control policies in order to generate task plans in complex environments. We demonstrate our approach in a simulated autonomous driving setting, where a vehicle must drive down a road in traffic, avoid collisions, and navigate an intersection, all while obeying given rules of the road.

研究动机与目标

• 解决传统方法因状态空间爆炸和时间约束而失效的复杂动态环境中的规划挑战。
• 将深度强化学习与蒙特卡洛树搜索相结合，以实现对高层动作序列的高效探索。
• 在表达性强的LTL规范下实现任务与运动规划，以捕捉道路的复杂规则。
• 通过DQN学习高层选项策略，减少对人工编码启发式规则的依赖。
• 在包含交通、交叉路口和动态障碍物的真实模拟自动驾驶环境中评估该框架。

提出的方法

• 该框架使用深度神经网络学习环境中的连续运动的低层控制策略。
• 通过深度Q网络（DQN）学习高层的“选项策略”，以在基本动作或行为中进行选择。
• 使用蒙特卡洛树搜索（MCTS）对学习到的选项序列进行规划，每个选项代表特定任务的策略。
• 使用LTL公式表达时间与逻辑约束，例如“最终到达交叉路口”或“始终避免碰撞”。
• MCTS算法使用学习到的高层策略作为先验，引导探索朝向有希望的动作序列。
• 使用价值函数评估状态和选项的质量，树搜索根据累积期望回报扩展节点。

实验结果

研究问题

• RQ1 深度强化学习能否有效与蒙特卡洛树搜索结合，以解决动态环境中的复杂任务与运动规划问题？
• RQ2 在LTL约束引导下，学习到的神经网络策略在新场景中的泛化能力如何？
• RQ3 与启发式或人工策略相比，使用学习到的高层策略作为MCTS中的先验，是否能显著提升规划效率和成功率？
• RQ4 将LTL规范与深度学习相结合，能否在自动驾驶等安全关键领域实现可靠且可验证的机器人行为？
• RQ5 当前学习到的策略与搜索启发式在处理极端或被困状态时存在哪些局限性？

主要发现

• 采用学习高层策略的系统在简单测试问题中实现了完美表现，在100次试验中无任何碰撞。
• 在涉及被困车辆的复杂场景中，系统仅在三起案例中失败，且均因不可避免的物理约束（如前方有静止车辆，相邻车道车辆以相同速度行驶）所致。
• 未使用学习高层策略的版本即使在简单场景中也出现多次碰撞，尤其在车辆被周围交通“围困”时更为明显。
• 采用学习选项的MCTS规划器在关键情况下能提前约2秒提供碰撞预警，支持紧急制动。
• 规划器的推理时间约为每次搜索1秒，其中25%的时间用于世界状态更新和对手策略评估，表明仍有优化空间。
• 人工策略因偏好保持在车道内，导致不必要的碰撞，而学习策略则成功选择了变道等动作以避开障碍物。