[论文解读] Multi-Environment MDPs with Prior and Universal Semantics

Benjamin Bordais, Jean-François Raskin|arXiv (Cornell University)|Feb 11, 2026

Bayesian Modeling and Causal Inference被引用 0

一句话总结

论文将先验 MEMDP 与通用 MEMDP 的语义联系起来，提供一种空间高效的近似先验值的算法，证明通用值等于对信念的先验值下确界，并展示在先验语义下的 MEMDP 构成一个可处理的 POMDP 子类。

ABSTRACT

Multiple-environment Markov decision processes (MEMDPs) equip an MDP with several probabilistic transition functions (one per possible environment) so that the state is observable but the environment is not. Previous work studies two semantics: (i) the universal semantics, where an adversary picks the environment; and (ii) the prior semantics, where the environment is drawn once before execution from a fixed distribution. We clarify the relation between these semantics. For parity objectives, we show that the qualitative questions, i.e. value one, coincide, and we develop a new algorithm for the general value of MEMDP with prior semantics. In particular, we show that the prior value of an MEMDP with a parity objective can be approximated to any precision with a space efficient algorithm; equivalently, the associated gap problem is decidable in PSPACE when probabilities are given in unary (and in EXPSPACE otherwise). We then prove that the universal value equals the infimum of prior values over all beliefs. This yields a new algorithm for the universal gap problem with the same complexity (PSPACE for unary probabilities, EXPSPACE in general), improving on earlier doubly-exponential-space procedures. Finally, we observe that MEMDPs under the prior semantics form an important tractable subclass of POMDPs: our algorithms exploit the fact that belief entropy never increases, and we establish that any POMDP with this property reduces effectively to a prior-MEMDP, showing that prior-MEMDPs capture a broad and practically relevant subclass of POMDPs.

研究动机与目标

• 澄清带 parity 目标的 MEMDP 的先验语义与通用语义之间的关系。
• 开发一种空间高效的近似先验值的算法并解决 epsilon 间隙问题。
• 将通用值与所有先验信念上的先验值下确界联系起来。
• 通过利用信念熵非增性，显示在先验语义下 MEMDP 构成可处理的 POMDP 子类。

提出的方法

• 给 MEMDP 加上环境和可区分的转移的定义。
• 开发一个 epsilon 间隙算法 MEMDP-Prior-Parity，用于计算先验值的 parity 结果。
• 证明 val^uni 等于 val^pr 在先验上的下确界（定理 7）。
• 给出复杂性结果：一元概率下为 PSPACE，否则为 EXPSPACE（定理 6）。
• 通过在截断到更小的支持集合时的变换将信念更新简化为一个 MDP（算法 1）。
• 证明在信念熵非增的情况下，可以将某些 POMDP 简化为先验 MEMDP，从而实现化简（定理 15）。

实验结果

研究问题

• RQ1 在 parity 目标下，先验语义与通用语义在 MEMDP 中如何关联？
• RQ2 是否可以以任意精度近似先验值并高效解决间隙问题？
• RQ3 通用值是否等于所有先验信念上的先验值下确界？
• RQ4 在先验语义下 MEMDP 是否构成可处理的 POMDP 子类，如何在算法上加以利用？

主要发现

• 通用语义与先验语义在 parity 目标下的定性值-1 结果一致。
• 能够以 epsilon 间隙保证近似先验值的算法在一元概率下运行在 PSPACE，广义情形下在 EXPSPACE。
• 定理 7 指出通用值等于所有先验信念上的先验值下确界。
• 先验为基础的间隙问题产生了一个高效的空间受限算法，较早的双指数空间方法有改进。
• 在 MEMDP 的先验语义中信念熵非增，能够将某些 POMDP 简化为可处理的子类（定理 15）。
• 先验语义 MEMDP 框架提供了可处理的信念更新动力学，并在信念支持收缩时可有效降为 MDP。