[论文解读] Heuristic Search Value Iteration for POMDPs

Trey Smith, Reid Simmons|arXiv (Cornell University)|Jul 11, 2012

Scheduling and Optimization Algorithms被引用 18

一句话总结

该论文提出了一种名为启发式搜索值迭代（Heuristic Search Value Iteration, HSVI）的 anytime POMDP规划算法，该算法将注意力聚焦的搜索启发式方法与分段线性凸值函数表示相结合，以高效计算具有可证明遗憾界（regret bounds）的策略。在基准问题上，HSVI相较于最先进的值迭代方法实现了超过100倍的加速，且成功扩展到比典型POMDP问题大十倍的火星车探索问题。

ABSTRACT

We present a novel POMDP planning algorithm called heuristic search value iteration (HSVI).HSVI is an anytime algorithm that returns a policy and a provable bound on its regret with respect to the optimal policy. HSVI gets its power by combining two well-known techniques: attention-focusing search heuristics and piecewise linear convex representations of the value function. HSVI's soundness and convergence have been proven. On some benchmark problems from the literature, HSVI displays speedups of greater than 100 with respect to other state-of-the-art POMDP value iteration algorithms. We also apply HSVI to a new rover exploration problem 10 times larger than most POMDP problems in the literature.

研究动机与目标

• 为解决POMDP求解的计算不可行性，开发一种更高效的规划算法。
• 在与最优策略相比的遗憾（regret）方面，实现具有可证明性能保证的anytime规划。
• 将POMDP规划扩展至更大规模、更贴近现实世界的问题，突破现有方法的典型规模限制。
• 将启发式搜索技术与值函数表示相结合，以提升收敛速度与计算效率。

提出的方法

• HSVI利用注意力聚焦的搜索启发式，优先选择最可能降低值函数遗憾的信念状态。
• 通过保持值函数的分段线性凸表示，实现高效计算与近似。
• 通过聚焦于具有高遗憾减少潜力的信念状态，逐步改进策略与值函数。
• 采用边界收紧机制，可证明地缩小当前策略值与最优值之间的差距。
• HSVI被设计为anymore算法，即随着计算时间的增加，可逐步返回更优的策略。
• 该方法结合了动态规划原理与启发式引导，避免对整个信念空间进行穷举搜索。

实验结果

研究问题

• RQ1 能否有效将启发式搜索技术与值迭代相结合，以加速POMDP规划？
• RQ2 能否在实现显著优于现有方法的加速的同时，保持POMDP算法的可证明遗憾界？
• RQ3 所提出的方案能否扩展至更大规模、更贴近现实世界的POMDP问题，突破典型规模限制？
• RQ4 分段线性凸值函数与启发式搜索的结合，如何提升收敛速度与计算效率？

主要发现

• 在基准问题上，HSVI相较于最先进的POMDP值迭代算法实现了超过100倍的加速。
• 该算法提供了可证明的遗憾界，确保所计算策略的性能与最优策略之间的差距在已知范围内。
• HSVI成功扩展至一个规模为文献中典型POMDP问题十倍的火星车探索问题。
• 将启发式搜索与值函数表示相结合，显著加快了收敛速度并降低了计算开销。