[论文解读] Bounded Policy Synthesis for POMDPs with Safe-Reachability Objectives

Yue Wang, Swarat Chaudhuri+1 more|arXiv (Cornell University)|Jan 29, 2018

Reinforcement Learning in Robotics参考文献 41被引用 18

一句话总结

该论文提出了一种名为有界策略合成（Bounded Policy Synthesis, BPS）的新方法，用于求解具有安全可达性目标的部分可观察马尔可夫决策过程（Partially Observable Markov Decision Processes, POMDPs）——即在最小化不安全状态访问次数的同时，以高概率确保达到目标。BPS 通过符号约束构建目标约束的信念空间，并利用增量可满足性逻辑（Satisfiability Modulo Theories, SMT）求解器高效搜索有效策略，在信念空间较大的情况下仅需极少的 SMT 调用，如在具有不确定障碍物的机器人导航案例研究中所展示的那样。

ABSTRACT

Planning robust executions under uncertainty is a fundamental challenge for building autonomous robots. Partially Observable Markov Decision Processes (POMDPs) provide a standard framework for modeling uncertainty in many applications. In this work, we study POMDPs with safe-reachability objectives, which require that with a probability above some threshold, a goal state is eventually reached while keeping the probability of visiting unsafe states below some threshold. This POMDP formulation is different from the traditional POMDP models with optimality objectives and we show that in some cases, POMDPs with safe-reachability objectives can provide a better guarantee of both safety and reachability than the existing POMDP models through an example. A key algorithmic problem for POMDPs is policy synthesis, which requires reasoning over a vast space of beliefs (probability distributions). To address this challenge, we introduce the notion of a goal-constrained belief space, which only contains beliefs reachable from the initial belief under desired executions that can achieve the given safe-reachability objective. Our method compactly represents this space over a bounded horizon using symbolic constraints, and employs an incremental Satisfiability Modulo Theories (SMT) solver to efficiently search for a valid policy over it. We evaluate our method using a case study involving a partially observable robotic domain with uncertain obstacles. The results show that our method can synthesize policies over large belief spaces with a small number of SMT solver calls by focusing on the goal-constrained belief space.

研究动机与目标

• 为解决在传统定量目标无法充分捕捉安全性和可达性保证的情况下，对 POMDP 进行策略合成的挑战。
• 通过仅关注满足期望执行路径下可达的信念，克服在大规模信念空间中策略合成的计算不可行性。
• 开发一种可扩展的方法，利用符号约束紧凑表示目标约束的信念空间，以实现高效推理。
• 在具有不确定障碍物和有界时域的现实机器人领域中评估该方法。
• 证明聚焦于目标约束信念空间可显著减少 SMT 求解器调用次数，相比穷举搜索。

提出的方法

• 提出目标约束信念空间的概念，仅包含从初始信念出发、在满足安全可达性目标的执行路径下可达的信念。
• 基于有界时域，利用源自有界模型检测（Bounded Model Checking, BMC）原理的符号约束，紧凑表示信念空间。
• 采用增量可满足性逻辑（Satisfiability Modulo Theories, SMT）求解器，高效探索目标约束信念空间并合成策略。
• 使用基于树的策略表示法，编码每一步的动作与观测，并通过约束阻止无效路径。
• 利用增量求解机制，在增加时域时重用先前的求解器状态，从而提升性能。
• 应用类似 BMC 的编码方式处理推送/推送（push/push）约束，实现在策略搜索过程中高效管理约束。

实验结果

研究问题

• RQ1 针对具有安全可达性目标的 POMDP，该策略合成方法是否在安全性与可达性保证方面优于传统的定量公式？
• RQ2 能否利用符号约束紧凑表示目标约束信念空间，以缩小搜索空间？
• RQ3 增量 SMT 求解是否能显著减少求解器调用次数，并提升策略合成的可扩展性？
• RQ4 在部分可观察的机器人环境中，随着障碍物数量和信念空间大小的增加，该方法的可扩展性如何？
• RQ5 与穷举搜索相比，聚焦于目标约束信念空间在多大程度上减少了需探索的策略数量？

主要发现

• 该方法在机器人导航领域中，仅用约 120 次 SMT 求解器调用，成功实现了对最多 24 个网格单元和 4 个障碍物的策略合成，尽管可达信念空间的规模约为 10^21 种可能路径。
• 在 SMT 求解器中启用增量求解机制显著缩短了合成时间，证明了在时域扩展过程中重用求解器状态的有效性。
• 策略合成时间随障碍物数量呈指数增长，与理论复杂度分析一致，原因在于策略树规模和信念空间维度的增加。
• 即使障碍物数量增加，检查的策略数量（即 SMT 调用次数）仍保持在较低水平（少于 120 次），证明目标约束信念空间是极为有效的搜索空间缩减手段。
• 该方法通过仅关注相关信念轨迹，显著优于朴素的穷举搜索，使大规模 POMDP 的策略合成成为可能。
• 结果表明，显式处理布尔安全与可达性约束，相较于基于奖励的公式，在某些场景下能提供更优的安全性和可达性保证。