[论文解读] Learning to Plan in High Dimensions via Neural Exploration-Exploitation Trees

Binghong Chen, Bo Dai+4 more|arXiv (Cornell University)|Feb 28, 2019

Robotic Path Planning Algorithms参考文献 52被引用 27

一句话总结

该论文提出神经探索-利用树（NEXT），一种元强化学习框架，利用基于注意力机制的神经架构，从先前经验中学习可泛化的规划先验，从而在高维连续状态和动作空间中实现高效的在线探索-利用平衡。NEXT在样本效率和成功率方面显著优于最先进规划器，在复杂机械臂任务中将所需规划时间减少高达50倍，同时保持高成功率。

ABSTRACT

We propose a meta path planning algorithm named \emph{Neural Exploration-Exploitation Trees~(NEXT)} for learning from prior experience for solving new path planning problems in high dimensional continuous state and action spaces. Compared to more classical sampling-based methods like RRT, our approach achieves much better sample efficiency in high-dimensions and can benefit from prior experience of planning in similar environments. More specifically, NEXT exploits a novel neural architecture which can learn promising search directions from problem structures. The learned prior is then integrated into a UCB-type algorithm to achieve an online balance between \emph{exploration} and \emph{exploitation} when solving a new problem. We conduct thorough experiments to show that NEXT accomplishes new planning problems with more compact search trees and significantly outperforms state-of-the-art methods on several benchmarks.

研究动机与目标

• 为解决高维连续路径规划中的样本效率低下问题，特别是在经典采样方法（如RRT）因维度灾难而失效的情况下。
• 通过从先前经验中提取共享结构表征，实现在相似规划问题间的元学习，提升新问题的泛化能力和样本效率。
• 设计一种神经架构，可将高维连续状态空间嵌入适合规划的低维离散表征，并支持端到端训练。
• 将学习到的先验整合到UCB风格算法中，实现在规划过程中在线自适应地平衡探索与利用。
• 在涉及复杂高维环境（如机械臂操作）的基准测试中，超越现有基于学习和经典方法的规划器。

提出的方法

• NEXT采用基于注意力机制的神经网络，将高维连续状态和动作空间编码为低维离散表征，捕捉相似规划问题间的结构模式。
• 网络通过端到端训练预测反映贝尔曼递归结构的价值函数和策略，从而实现在任务间的泛化。
• 采用UCB型扩展算子，将学习到的神经先验用于引导采样，动态平衡对新区域的探索与对有希望方向的利用。
• 规划器采用基于树的搜索结构，节点根据结合了学习价值估计与不确定性的置信度奖励机制进行扩展。
• 该方法支持在线自适应：先前经验被保留并在新问题中重用，无需重新训练，实现持续改进。
• 该架构在模拟和真实世界机械臂控制任务中进行了评估，并与RRT*、BIT*、CVAE-plan和Reinforce-plan进行了比较。

实验结果

研究问题

• RQ1 神经架构能否从高维连续空间的先前经验中学习到可泛化的、与问题结构相关的规划先验？
• RQ2 在新规划任务中，基于学习的神经先验引导的在线UCB风格算法能否有效平衡探索与利用？
• RQ3 与最先进采样和基于学习的规划器相比，NEXT在高维路径规划中是否实现了显著更高的样本效率和成功率？
• RQ4 基于注意力的神经架构在多样化但结构相似的规划问题（如不同物体放置下的机械臂操作）中泛化能力如何？
• RQ5 与专家调优的基线方法（如BIT*）相比，NEXT在保持或提升路径质量的同时，能在多大程度上减少规划时间？

主要发现

• 在1000个测试问题的集合上，NEXT仅用1秒即达到95%的成功率，与BIT*的50秒成功率相当，表明规划时间减少了50倍。
• 在2D和3D网格世界任务中，与RRT*和BIT*相比，NEXT将平均路径成本降低了最多40%，树节点数量减少了最多60%。
• 消融实验表明，将基于注意力的神经架构替换为改进的GPPN变体后性能显著下降，证实了所提架构在高维设置下的优越性。
• 当用Dijkstra启发式替代学习到的策略时，NEXT在除2D情况外的所有情形下仍优于启发式方法，证明了学习到的泛化能力在高维空间中优于手工设计的启发式方法。
• NEXT中的UCB扩展机制在探索-利用权衡方面优于均匀采样或启发式采样器，表现为更低的路径成本和更快的收敛速度。
• 在真实世界机械臂控制任务中，NEXT生成了无碰撞的路径，成功率高，可视化结果证实其能以极少采样量有效导航复杂、杂乱的环境。