[论文解读] Learning to Plan via Neural Exploration-Exploitation Trees.
该论文提出神经探索-利用树（NEXT），一种元路径规划算法，通过学习到的神经先验利用过往经验，指导高维连续空间中的高效探索-利用权衡。通过将该先验与基于UCB的树搜索相结合，NEXT降低了样本复杂度，并在基准任务上显著缩小了搜索树规模，优于当前最先进方法。
Sampling-based algorithms such as RRT and its variants are powerful tools for path planning problems in high-dimensional continuous state and action spaces. While these algorithms perform systematic exploration of the state space, they do not fully exploit past planning experiences from similar environments. In this paper, we design a meta path planning algorithm, called \emph{Neural Exploration-Exploitation Trees} (NEXT), which can exploit past experience to drastically reduce the sample requirement for solving new path planning problems. More specifically, NEXT contains a novel neural architecture which can learn from experiences the dependency between task structures and promising path search directions. Then this learned prior is integrated with a UCB-type algorithm to achieve an online balance between \emph{exploration} and \emph{exploitation} when solving a new problem. Empirically, we show that NEXT can complete the planning tasks with very small searching trees and significantly outperforms previous state-of-the-arts on several benchmark problems.
研究动机与目标
- 解决如RRT等采样基规划器在高维连续状态和动作空间中的高样本复杂度问题。
- 在相似环境中重用过往规划经验以加速学习。
- 开发一种利用学习先验平衡探索与利用的元规划算法。
- 减少解决新路径规划问题所需的搜索树规模。
提出的方法
- 设计一种新颖的神经架构，从过往经验中学习任务结构与有希望的路径搜索方向之间的依赖关系。
- 将学习到的神经先验集成到基于UCB的树搜索算法中，实现实时探索与利用的平衡。
- 使用可微分神经策略，基于任务特定特征预测搜索树中的有利扩展方向。
- 通过先前规划任务的示范或重放经验，端到端训练神经先验。
- 将神经先验作为UCB公式中的探索奖励，引导树向更有希望的区域扩展。
- 构建分层树结构，其中节点表示状态，边表示动作，神经先验用于指导节点选择与扩展。
实验结果
研究问题
- RQ1神经网络能否有效从过往规划经验中泛化，以提升新路径规划任务中的样本效率？
- RQ2如何将学习到的先验集成到树搜索算法中，实现实时探索与利用的平衡？
- RQ3神经先验在多大程度上减少了解决新规划问题所需的搜索树规模？
- RQ4NEXT在性能和样本效率方面与最先进采样基规划器（如RRT和RRT*）相比如何？
主要发现
- NEXT通过利用相似环境中的学习经验，显著减少了求解新路径规划问题所需的样本数量。
- NEXT构建的搜索树明显小于基线方法，表明其具有更高的样本效率。
- NEXT在多个高维空间中的基准路径规划问题上优于以往最先进算法。
- 将神经先验与基于UCB的探索相结合，实现了更快的收敛速度和更高的规划成功率。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。