[論文レビュー] Multi-Environment MDPs with Prior and Universal Semantics

Benjamin Bordais, Jean-François Raskin|arXiv (Cornell University)|Feb 11, 2026

Bayesian Modeling and Causal Inference被引用数 0

ひとこと要約

この論文は prior MEMDP の意味論と universal MEMDP の意味論を parity 目的と結びつけ、prior 値を近似する空間効率的なアルゴリズムを提供し、universal 値が信念の priors の下限（infimum）と等しいことを証明し、prior 意味論の MEMDP が POMDP の可 tractable なサブクラスを形成することを示します。

ABSTRACT

Multiple-environment Markov decision processes (MEMDPs) equip an MDP with several probabilistic transition functions (one per possible environment) so that the state is observable but the environment is not. Previous work studies two semantics: (i) the universal semantics, where an adversary picks the environment; and (ii) the prior semantics, where the environment is drawn once before execution from a fixed distribution. We clarify the relation between these semantics. For parity objectives, we show that the qualitative questions, i.e. value one, coincide, and we develop a new algorithm for the general value of MEMDP with prior semantics. In particular, we show that the prior value of an MEMDP with a parity objective can be approximated to any precision with a space efficient algorithm; equivalently, the associated gap problem is decidable in PSPACE when probabilities are given in unary (and in EXPSPACE otherwise). We then prove that the universal value equals the infimum of prior values over all beliefs. This yields a new algorithm for the universal gap problem with the same complexity (PSPACE for unary probabilities, EXPSPACE in general), improving on earlier doubly-exponential-space procedures. Finally, we observe that MEMDPs under the prior semantics form an important tractable subclass of POMDPs: our algorithms exploit the fact that belief entropy never increases, and we establish that any POMDP with this property reduces effectively to a prior-MEMDP, showing that prior-MEMDPs capture a broad and practically relevant subclass of POMDPs.

研究の動機と目的

• parity 目的を持つ MEMDP における prior 意味論と universal 意味論の関係を明らかにする。
• prior 値を近似し ε-gap 問題を解く空間効率的なアルゴリズムを開発する。
• universal 値を全 priors-beliefs の下での priors の infimum と関係づける。
• 非増加信念エントロピーを活用して prior semantics の MEMDP が tractable な POMDP の亜クラスを形成することを示す。

提案手法

• 環境と識別的遷移を持つ MEMDP を定義する。
• epsilon-gap アルゴリズム MEMDP-Prior-Parity を開発し priors-valued parity 結果を計算する。
• val^uni が priors に依存する val の infimum に等しいことを証明する（定理 7）。
• 複合性の結果を提供する：単一確率の場合は PSPACE、そうでない場合は EXPSPACE（定理 6）。
• 小さなサポートへ切り詰めたときの信念更新を変換を介して MDP に還元する（アルゴリズム 1）。
• 信念エントロピーが非増加であることにより特定の POMDP を prior MEMDP に還元可能であることを示す（定理 15）。

実験結果

リサーチクエスチョン

• RQ1 parity 目的の下で MEMDP における prior と universal な意味論はどのように相関するか？
• RQ2 prior 値を任意の精度で近似しギャップ問題を効率的に解けるか？
• RQ3 universal 値は全ての prior beliefs に対する priors の infimum に等しいか？
• RQ4 prior semantics の MEMDP は tractable な POMDP のサブクラスを形成するか，そしてこれをアルゴリズム的に如何に活用できるか？

主な発見

• 普遍的な意味論と prior 意味論の parity 目的における定性的価値-1 の結果は一致する。
• epsilon-gap 確認付き priors 値近似アルゴリズムは、単一確率では PSPACE、一般の場合は EXPSPACE で動作する。
• universal 値は全 priors-beliefs に対する priors の infimum に等しい（定理 7）。
• prior ベースの gap 問題は効率的な空間制限アルゴリズムを生み、以前の二重指数空間法より改善される。
• prior semantics の MEMDP では信念エントロピーが非増加であり、 tractable な POMDP サブクラスへの還元を可能にする（定理 15）。
• prior-semantics MEMDP フレームワークは信念更新ダイナミクスを tractable にし、信念サポートが縮小すると MDP への効果的な還元を達成する。