[论文解读] Hindsight is Only 50/50: Unsuitability of MDP based Approximate POMDP Solvers for Multi-resolution Information Gathering

Sankalp Arora, Sanjiban Choudhury+1 more|arXiv (Cornell University)|Apr 7, 2018

Reinforcement Learning in Robotics参考文献 26被引用 5

一句话总结

本文识别出基于MDP的近似POMDP求解器在多分辨率、预算受限的信息收集任务中的根本性局限，证明其即使在信息收集动作对最优POMDP解至关重要时，仍无法优先选择这些动作。作者形式化了此类求解器在理论上次优的条件，并通过老虎问题和基于无人机的多分辨率路径规划场景加以验证，显示因忽略信息性动作导致的价值差距超过60单位。

ABSTRACT

Partially Observable Markov Decision Processes (POMDPs) offer an elegant framework to model sequential decision making in uncertain environments. Solving POMDPs online is an active area of research and given the size of real-world problems approximate solvers are used. Recently, a few approaches have been suggested for solving POMDPs by using MDP solvers in conjunction with imitation learning. MDP based POMDP solvers work well for some cases, while catastrophically failing for others. The main failure point of such solvers is the lack of motivation for MDP solvers to gain information, since under their assumption the environment is either already known as much as it can be or the uncertainty will disappear after the next step. However for solving POMDP problems gaining information can lead to efficient solutions. In this paper we derive a set of conditions where MDP based POMDP solvers are provably sub-optimal. We then use the well-known tiger problem to demonstrate such sub-optimality. We show that multi-resolution, budgeted information gathering cannot be addressed using MDP based POMDP solvers. The contribution of the paper helps identify the properties of a POMDP problem for which the use of MDP based POMDP solvers is inappropriate, enabling better design choices.

研究动机与目标

• 识别基于MDP的近似POMDP求解器在信息收集任务中理论上次优的条件。
• 证明此类求解器即使在能带来最优POMDP结果时，仍无法选择能减少不确定性的信息性动作。
• 表明多分辨率、预算受限的信息收集问题本质上不适用于MDP-POMDP求解器，因其无法优先考虑信息获取。
• 提供一种正式标准，用于检测MDP-POMDP求解器不适用的问题，从而支持更优的求解器设计选择。
• 通过经典老虎问题和基于无人机的多分辨率路径规划任务验证理论发现。

提出的方法

• 形式化‘信息性动作’——即减少不确定性但不产生即时奖励的动作——作为MDP-POMDP求解器不适用的关键指标。
• 通过分析最优MDP策略中缺乏此类动作的情况，定义MDP求解器失效的条件。
• 应用事后优化（hindsight optimization）和QMDP风格近似，估计POMDP问题在信念空间中的性能。
• 使用已知汽车位置不确定性的基于无人机的多分辨率信息收集任务，比较MDP与POMDP解的性能。
• 计算最优POMDP策略与基于MDP的近似解之间的价值差异，以量化次优性。
• 提出一种流水线：在信息空间中使用奖励重塑的MDP求解器来鼓励信息收集，作为潜在缓解方案。

实验结果

研究问题

• RQ1 在何种条件下，基于MDP的近似POMDP求解器被证明是次优的？
• RQ2 为何MDP-POMDP求解器在POMDP问题中无法选择能减少不确定性的信息性动作？
• RQ3 老虎问题能否作为MDP-POMDP求解器在信息收集中失败的典型范例？
• RQ4 在基于无人机的多分辨率、预算受限信息收集任务中，次优性如何表现？
• RQ5 在信息空间中使用MDP求解器时，奖励重塑能否恢复性能？

主要发现

• 当最优POMDP解依赖于信息性动作（即减少不确定性但无即时奖励的动作）时，基于MDP的近似POMDP求解器是次优的。
• 在老虎问题中，MDP-POMDP求解器未能选择倾听老虎位置的动作，导致50%概率打开错误的门并遭受高额惩罚。
• 在基于无人机的多分辨率路径规划任务中，MDP-POMDP求解器回避了‘上’动作（该动作可揭示汽车位置），在事后优化下价值为34.125，而最优POMDP策略的价值为96。
• 在无人机任务中，最优POMDP策略与MDP-POMDP求解器之间的价值差距为61.875单位，主要源于信息价值和来自信息性动作的奖励损失。
• 无人机任务中信息的期望价值为63.875，突显MDP-POMDP求解器未能捕捉不确定性降低的全部价值。
• 本研究提供了一种正式标准，用于检测MDP-POMDP求解器不适用的问题，从而可在早期阶段避免选择不合适的求解器。