[论文解读] Learning Heuristic Search via Imitation

Mohak Bhardwaj, Sanjiban Choudhury+1 more|arXiv (Cornell University)|Jul 10, 2017

Robotic Path Planning Algorithms参考文献 41被引用 12

一句话总结

本文提出 SaIL，一种模仿学习框架，通过模仿具有完整世界知识的全知预言者（clairvoyant oracles）来训练启发式策略，以最小化机器人运动规划中的搜索开销。通过利用动态规划在训练过程中生成最优决策，SaIL 学习到的数据驱动启发式策略能够适应环境结构，在各类环境中均持续优于当前最先进方法的搜索效率。

ABSTRACT

Robotic motion planning problems are typically solved by constructing a search tree of valid maneuvers from a start to a goal configuration. Limited onboard computation and real-time planning constraints impose a limit on how large this search tree can grow. Heuristics play a crucial role in such situations by guiding the search towards potentially good directions and consequently minimizing search effort. Moreover, it must infer such directions in an efficient manner using only the information uncovered by the search up until that time. However, state of the art methods do not address the problem of computing a heuristic that explicitly minimizes search effort. In this paper, we do so by training a heuristic policy that maps the partial information from the search to decide which node of the search tree to expand. Unfortunately, naively training such policies leads to slow convergence and poor local minima. We present SaIL, an efficient algorithm that trains heuristic policies by imitating "clairvoyant oracles" - oracles that have full information about the world and demonstrate decisions that minimize search effort. We leverage the fact that such oracles can be efficiently computed using dynamic programming and derive performance guarantees for the learnt heuristic. We validate the approach on a spectrum of environments which show that SaIL consistently outperforms state of the art algorithms. Our approach paves the way forward for learning heuristics that demonstrate an anytime nature - finding feasible solutions quickly and incrementally refining it over time.

研究动机与目标

• 解决现有启发式学习方法缺乏显式最小化实时机器人运动规划中搜索开销的问题。
• 克服传统启发式方法静态、非自适应且对估计误差敏感的局限性。
• 开发一种通过模仿部分信息下的最优决策过程来学习启发式策略的框架，利用动态规划生成预言者示范。
• 通过改变训练数据分布（例如，陷阱区域与狭窄通道），使启发式策略能够适应不同环境——如避免陷阱或探索狭窄通道——而无需从头开始重新训练。
• 为任意时间规划铺平道路，通过学习能快速找到可行解并随时间逐步优化的启发式策略。

提出的方法

• 将启发式搜索建模为部分可观测下的序贯决策问题，其中策略根据当前波前选择扩展哪个节点。
• 使用全知预言者（通过具有完整状态知识的 Dijkstra 算法计算）生成任意给定搜索波前的最优扩展决策。
• 采用 Ross 等人 [36] 提出的数据集聚合方法进行模仿学习，以最小化分布偏移并提升收敛性。
• 利用预言者决策可通过动态规划高效计算的特性，实现在推理阶段无需在线规划的可扩展训练。
• 将学习到的启发式策略集成到标准搜索框架（如 A*）中，实现计算开销极低的搜索引导。
• 实现分布泛化：通过改变训练数据分布（如陷阱区域与狭窄通道），策略可学习到上下文相关的特定行为，而无需从头训练整个策略。

实验结果

研究问题

• RQ1 我们能否训练出显式最小化搜索开销而非仅估计到目标距离的启发式策略？
• RQ2 在监督信号稀疏且非独立同分布的情况下，如何高效训练部分可观测下的启发式策略？
• RQ3 通过模仿具有完整世界知识的全知预言者，能否在基于搜索的运动规划中获得鲁棒且可泛化的启发式策略？
• RQ4 该框架是否能通过简单改变训练数据分布，实现学习具有多样化行为（如贪婪型与谨慎型）的启发式策略？
• RQ5 学习到的启发式策略是否能通过快速找到可行解并逐步改进，从而支持任意时间规划？

主要发现

• SaIL 在一系列运动规划环境中，持续优于当前最先进启发式学习与基于搜索的规划方法。
• 学习到的启发式策略能适应环境结构特征——例如，在包含陷阱的分布上进行训练时避免陷阱，而在富含间隙的环境中训练时则主动探索狭窄通道。
• 通过证明学习策略的行为在近似最优意义下相对于一个幻觉预言者（即在当前信念下选择最佳动作的预言者）表现良好，从而获得性能保证。
• 该框架支持任意时间规划行为：启发式策略能快速找到可行解，并随时间持续优化，符合实时规划需求。
• 该方法对分布偏移具有鲁棒性：改变训练数据分布可导致策略产生定性不同的、与上下文相适应的行为，而无需重新训练整个策略。
• 通过动态规划实现的全知预言者，使训练过程高效且可扩展，避免了端到端强化学习中的样本效率低下问题。