[论文解读] A Possibilistic Model for Qualitative Sequential Decision Problems under Uncertainty in Partially Observable Environments

Régis Sabbadin|arXiv (Cornell University)|Jan 23, 2013

Bayesian Modeling and Causal Inference参考文献 16被引用 35

一句话总结

本文提出了一种用于部分可观察环境中不确定性下定性序列决策的possibilistic（可能性）模型，使用可能性分布来表示不确定性与偏好。与因信念空间无限而导致计算困难的随机POMDP不同，该方法确保了有限但指数级更大的信念状态空间，从而在具有序数偏好关系的定性设定下实现可处理的推理。

ABSTRACT

In this article we propose a qualitative (ordinal) counterpart for the Partially Observable Markov Decision Processes model (POMDP) in which the uncertainty, as well as the preferences of the agent, are modeled by possibility distributions. This qualitative counterpart of the POMDP model relies on a possibilistic theory of decision under uncertainty, recently developed. One advantage of such a qualitative framework is its ability to escape from the classical obstacle of stochastic POMDPs, in which even with a finite state space, the obtained belief state space of the POMDP is infinite. Instead, in the possibilistic framework even if exponentially larger than the state space, the belief state space remains finite.

研究动机与目标

• 解决随机POMDP的局限性，后者尽管状态空间有限，却导致信念空间无限。
• 开发一种使用可能性理论而非概率来表示不确定性和偏好的定性决策模型。
• 通过使用序数（定性）偏好和不确定性表示，实现在部分可观察环境中可处理的序列决策。
• 提供一种避免概率信念更新计算不可行性的框架，同时保持决策质量。
• 证明即使在部分可观察性下，定性模型中也可实现有限的信念状态空间。

提出的方法

• 该模型使用可能性分布来表示智能体对系统状态的不确定性及其对结果的偏好。
• 采用可能性理论下的不确定性决策理论，将定性决策扩展至序列设定。
• 通过基于可能性的推理规则更新信念状态，实现动作和观测中不确定性传播。
• 通过在有限状态空间上维护一组可能性分布，支持序列决策，即使状态空间有限。
• 利用可能性理论的结构，避免POMDP中固有的无限信念空间问题。
• 通过使用序数偏好关系指导策略选择，无需依赖基数效用值。

实验结果

研究问题

• RQ1 能否为部分可观察环境开发一种定性、序数的决策模型，以避免POMDP的无限信念空间问题？
• RQ2 可能性理论如何用于在序列决策问题中同时表示不确定性和偏好？
• RQ3 与概率POMDP相比，保持和更新可能性框架中的信念状态的计算复杂度如何？
• RQ4 在部分可观察性下，能否在定性模型中实现有限的信念状态空间？如果可以，如何实现？
• RQ5 在决策质量与可处理性方面，可能性模型与概率POMDP相比表现如何？

主要发现

• 该可能性模型实现了有限的信念状态空间，尽管其规模是状态空间的指数级扩大，从而解决了随机POMDP的无限信念空间问题。
• 该框架支持无需精确概率分布或基数效用值的定性决策。
• 该模型通过计算上可处理的可能性信念状态更新，支持序列决策。
• 该方法在概率假设过强或不切实际的场景中，为POMDP提供了一种可行的替代方案。
• 该方法证明了定性推理可系统性地应用于具有明确定义信念动态的部分可观察、序列决策问题。
• 该模型在可能性理论基础上形式化建立，为以统一的序数方式处理不确定性和偏好提供了连贯的框架。