[论文解读] Deterministic POMDPs Revisited

Blai Bonet|arXiv (Cornell University)|May 9, 2012

AI-based Problem Solving and Planning参考文献 37被引用 29

一句话总结

本文重新探討了確定性POMDP（部分可觀察馬爾可夫決策過程）——即具有確定性動作與觀測的POMDP——展示了其結構特性、計算複雜度，以及與AND/OR搜尋的關聯。研究證明，求解確定性POMDP是PSPACE-complete，並提出利用AND/OR搜尋的高效演算法，使在具有部分可觀察性但動態確定的領域中實現可擴展規劃成為可能。

ABSTRACT

We study a subclass of POMDPs, called Deterministic POMDPs, that is characterized by deterministic actions and observations. These models do not provide the same generality of POMDPs yet they capture a number of interesting and challenging problems, and permit more efficient algorithms. Indeed, some of the recent work in planning is built around such assumptions mainly by the quest of amenable models more expressive than the classical deterministic models. We provide results about the fundamental properties of Deterministic POMDPs, their relation with AND/OR search problems and algorithms, and their computational complexity.

研究动机与目标

• 分析確定性POMDP的基礎性質與計算複雜度，此為具有確定性動作與觀測之POMDP的子類別。
• 建立確定性POMDP與AND/OR搜尋問題之間的正式連結，進而實現更高效的規劃演算法。
• 明確求解確定性POMDP的計算邊界，特別是在複雜度類別方面的限制。
• 為在部分可觀察環境中實現可擴展規劃奠定基礎，且動態為確定性。
• 將理論洞見與實務上的演算法改進連結，以支援現實世界規劃應用。

提出的方法

• 將確定性POMDP形式化為具有確定性轉移與觀測函數的POMDP。
• 將確定性POMDP中的規劃問題重新表述為信念狀態上的AND/OR搜尋問題。
• 利用確定性模型的結構特性以縮小搜尋空間，提升演算法效率。
• 透過歸約至已知複雜度類別，分析求解確定性POMDP的計算複雜度。
• 採用信念樹搜尋並搭配剪枝技術，以利用確定性特性，避免不必要的探索。
• 證明該問題為PSPACE-complete，從而確立緊緻的複雜度界。

实验结果

研究问题

• RQ1 求解確定性POMDP的計算複雜度為何？
• RQ2 確定性動作與觀測如何影響POMDP的結構與可解性？
• RQ3 AND/OR搜尋能否有效應用於求解確定性POMDP，使其效率高於一般POMDP求解器？
• RQ4 確定性POMDP的哪些結構特性可促成演算法優化？
• RQ5 與完整POMDP的通用性相比，確定性假設在表達能力與可 tractability（可處理性）方面有何差異？

主要发现

• 確定性POMDP為PSPACE-complete，確立此子類別的緊緻複雜度界。
• 確定性結構可透過減少信念狀態中不確定性的傳播，實現更高效的規劃。
• AND/OR搜尋演算法可有效應用於確定性POMDP，進而實現可擴展的解法。
• 儘管具有確定性，該問題仍為計算上困難，顯示高效解法需依賴結構特徵的利用。
• 本論文提供理論依據，支持將確定性模型作為一般POMDP在部分可觀察領域中的一種可處理替代方案。
• 研究結果支持將確定性POMDP作為實際應用中的建模選擇，特別是在需要部分可觀察性與確定性動態的場景中。