[论文解读] Metareasoning for Planning Under Uncertainty

Christopher H. Lin, Andrey Kolobov+2 more|arXiv (Cornell University)|May 3, 2015

Reinforcement Learning in Robotics参考文献 25被引用 6

一句话总结

本文将马尔可夫决策过程（MDPs）的元推理形式化为一种框架，用于在不确定环境中平衡规划成本与策略改进。该文提出了一种基于BRTDP边界估算计算价值的近似元推理算法，显著缩小了元推理差距——尤其在具有高改进潜力的领域中表现突出——且无需训练数据或先验领域知识。

ABSTRACT

The conventional model for online planning under uncertainty assumes that an agent can stop and plan without incurring costs for the time spent planning. However, planning time is not free in most real-world settings. For example, an autonomous drone is subject to nature's forces, like gravity, even while it thinks, and must either pay a price for counteracting these forces to stay in place, or grapple with the state change caused by acquiescing to them. Policy optimization in these settings requires metareasoning---a process that trades off the cost of planning and the potential policy improvement that can be achieved. We formalize and analyze the metareasoning problem for Markov Decision Processes (MDPs). Our work subsumes previously studied special cases of metareasoning and shows that in the general case, metareasoning is at most polynomially harder than solving MDPs with any given algorithm that disregards the cost of thinking. For reasons we discuss, optimal general metareasoning turns out to be impractical, motivating approximations. We present approximate metareasoning procedures which rely on special properties of the BRTDP planning algorithm and explore the effectiveness of our methods on a variety of problems.

研究动机与目标

• 解决实际问题：在现实世界的在线规划中，规划时间并非免费，尤其是在时间敏感或资源受限的系统（如无人机或空间探测器）中。
• 为MDPs形式化一个通用的元推理问题，权衡计算成本与预期策略改进，涵盖先前的模型。
• 证明最优元推理仅比求解基础MDP多出多项式级别的计算复杂度，但由于无限递归和计算开销，仍不切实际。
• 设计快速、近似的元推理算法，利用BRTDP的上界估算计算价值，且无需训练数据或先验领域信息。
• 在具有不同元推理差距的合成领域中评估这些算法的有效性，重点关注高影响场景下的性能表现。

提出的方法

• 将元推理形式化为决策问题，其中智能体选择规划时长后再行动，权衡计算成本与预期策略收益。
• 利用有界RTDP（BRTDP）生成价值函数的上下界，用于估算额外规划时间的价值。
• 设计近似元推理过程，利用这些边界在实时环境中计算计算价值（VoC），无需预先训练或领域特定调优。
• 通过投影多个规划步骤的边界变化，实现非贪心近似，但实证表明该方法会累积误差。
• 使用元推理差距指标量化更优规划决策的潜在改进空间，作为跨领域性能基准。
• 在在线规划循环中应用元推理策略，智能体根据估算的VoC决定立即行动或继续规划。

实验结果

研究问题

• RQ1 如何为MDPs正式建模元推理，以平衡规划成本与策略质量的预期提升？
• RQ2 最优元推理相对于求解基础MDP的计算复杂度如何？为何即使仅多项式更难，仍不切实际？
• RQ3 能否设计出仅依赖规划器生成边界（如BRTDP）的近似元推理算法，而无需训练数据或先验领域知识？
• RQ4 在哪些类型的环境中，近似元推理算法能取得最大收益？元推理差距与性能之间有何关联？
• RQ5 假设采用单步元推理对性能有何影响？将其扩展到多个规划周期存在哪些风险？

主要发现

• 最优通用元推理对于MDPs仅比求解基础MDP多出多项式级别的复杂度，但由于计算开销和元层级推理的无限递归，仍不切实际。
• 所提出的近似元推理算法在潜在改进空间较大的领域（如DynamicNOP-2）中显著缩小了元推理差距，优于基线方法。
• 在DynamicNOP-1中，风力将智能体吹离目标，元推理差距较小，算法表现欠佳，因为过度思考反而适得其反。
• 在高差距领域，元推理器的平均策略成本优于基线，尽管由于VoC计算的随机性导致过度思考，偶尔会出现更高成本。
• 初始状态的元推理差距并不总能反映整体性能，因为其他状态可能具有更高的改进潜力，凸显了以状态为中心的差距度量的局限性。
• 能预测多个规划步骤的非贪心扩展会导致误差累积，性能下降，表明尽管次优，单步元推理在稳定性上更优。