[论文解读] An Anytime Algorithm for Task and Motion MDPs

Siddharth Srivastava, Nishant Desai+2 more|arXiv (Cornell University)|Feb 16, 2018

Robotic Path Planning Algorithms参考文献 15被引用 5

一句话总结

本文提出了一种用于求解建模为马尔可夫决策过程（MDPs）的随机任务与运动规划问题的 anytime 算法，通过动态抽象将高层决策与底层运动规划相连接。该方法逐步提升策略质量，在仅使用总计算时间 10% 的情况下即可实现 90% 的典型执行结果覆盖，并保证概率完备性，同时在不确定性条件下支持早期执行。

ABSTRACT

Integrated task and motion planning has emerged as a challenging problem in sequential decision making, where a robot needs to compute high-level strategy and low-level motion plans for solving complex tasks. While high-level strategies require decision making over longer time-horizons and scales, their feasibility depends on low-level constraints based upon the geometries and continuous dynamics of the environment. The hybrid nature of this problem makes it difficult to scale; most existing approaches focus on deterministic, fully observable scenarios. We present a new approach where the high-level decision problem occurs in a stochastic setting and can be modeled as a Markov decision process. In contrast to prior efforts, we show that complete MDP policies, or contingent behaviors, can be computed effectively in an anytime fashion. Our algorithm continuously improves the quality of the solution and is guaranteed to be probabilistically complete. We evaluate the performance of our approach on a challenging, realistic test problem: autonomous aircraft inspection. Our results show that we can effectively compute consistent task and motion policies for the most likely execution-time outcomes using only a fraction of the computation required to develop the complete task and motion policy.

研究动机与目标

• 解决在机器人系统中，于不确定性条件下整合高层任务规划与底层运动规划的挑战。
• 为具有不可数状态空间和动作空间的 MDP 提供可扩展的解决方案，传统 MDP 求解器因高分支因子和长时域而失效。
• 通过逐步生成可行策略，实现在完整计算完成前即可开始执行。
• 在真实连续环境中，平衡计算成本与解质量的同时保证概率完备性。
• 展示基于抽象的分层建模在连接高层 MDP 与底层运动规划方面的有效性。

提出的方法

• 该方法将任务与运动规划问题建模为随机 MDP，其中高层动作依赖于底层运动规划细化结果，如电池使用和轨迹可行性。
• 采用动态抽象简化 MDP 表示，使高层 MDP 求解器能够高效运行在抽象模型上。
• 算法执行 anytime 策略合成，随着分配计算时间的增加持续优化策略。
• 根据特定动作的需求细化抽象，使用运动规划评估可行性并更新转移概率。
• 将运动规划结果整合进 MDP 转移函数，确保高层决策考虑物理约束（如电池限制和碰撞避免）。
• 执行可在完整策略计算完成前开始，同时进行持续优化和运行时对未解决场景的监控。

实验结果

研究问题

• RQ1 能否通过 anytime 算法有效计算具有连续状态和动作空间的随机 MDP 的任务与运动策略？
• RQ2 在高维规划问题中，抽象化 MDP 模型在降低计算复杂度的同时，能否保持良好的解质量？
• RQ3 在最小预计算条件下，通过生成高覆盖度策略，能在多大程度上实现早期执行？
• RQ4 在执行器和传感器性能存在不同不确定性水平时，该算法如何在解质量与计算时间之间取得平衡？
• RQ5 基于抽象的细化能否在保持物理约束下可行性的同时确保概率完备性？

主要发现

• 在仅使用总计算时间 10% 的情况下，当传感器和执行器噪声为 5% 时，该算法计算出的策略可覆盖 90% 的最可能执行结果。
• 当执行器和传感器存在 20% 的误差率时，该算法在使用 40% 计算时间的情况下，可实现约 80% 的执行轨迹覆盖。
• 在 5% 噪声场景下，策略计算时间少于 10 秒，展现出优异的 anytime 性能。
• 该算法具有概率完备性，即在给予足够时间时，最终将找到解决方案。
• 该算法的 anytime 性能曲线呈凹形，表明早期计算即可获得高质量解，且随时间推移收益递减。
• 该方法支持在完整策略计算完成前安全执行，可通过运行时检测未解决场景，并在需要时回退至安全状态。