[論文レビュー] Deciding What Is Good-For-MDPs

Sven Schewe, Qiyi Tang+1 more|arXiv (Cornell University)|Feb 15, 2022

Formal Methods in Verification被引用数 3

ひとこと要約

本稿は、非決定的 Büchi 自動機が MDP に適している（GFM）かどうかを判定するための最初の EXPTIME 決定手続きを確立し、GFM 性が決定可能であり、PSPACE 困難であることを証明する。さらに、GFG 自動機および一般の非決定的自動機と比較して、GFM 自動機は指数的に短縮可能であることを示し、実行に一意性を持つ、あるいは安全・到達性を分離する自動機に制限しても同様に成り立つ。

ABSTRACT

Nondeterministic good-for-MDPs (GFM) automata are for MDP model checking and reinforcement learning what good-for-games automata are for reactive synthesis: a more compact alternative to deterministic automata that displays nondeterminism, but only so much that it can be resolved locally, such that a syntactic product can be analysed. GFM has recently been introduced as a property for reinforcement learning, where the simpler Büchi acceptance conditions it allows to use is key. However, while there are classic and novel techniques to obtain automata that are GFM, there has not been a decision procedure for checking whether or not an automaton is GFM. We show that GFM-ness is decidable and provide an EXPTIME decision procedure as well as a PSPACE-hardness proof.

研究の動機と目的

• 文献におけるギャップを埋めるために、与えられた自動機が MDP に適している（GFM）かどうかをチェックするための決定手続きを提供すること。
• GFM 自動機が GFG 自動機および一般の非決定的自動機と比較して指数的に短縮可能かどうかという未解決問題を解明すること。
• GFM、GFG およびその他の制限付き自動機クラスの間の短縮性および決定可能性に関する関係を調査すること。
• GFM とその定性的な変種 QGFM の違いを明確にし、両者が互いに同一化されることを示すこと。

提案手法

• GFM の緩和版として定性的 GFM（QGFM）の概念を導入し、定性的な受容条件に焦点を当てる。
• 反例生成を伴う構成的自動機理論的手法を用いて、QGFM 性のための EXPTIME 決定手続きを開発する。
• すべての状態について GFM 性をチェックする QGFM 性のチェックに還元できることを証明し、完全な EXPTIME アルゴリズムを導く。
• QGFM 条件が GFM 性の必要条件であることも示し、GFM と QGFM が同一化されることを示し、同じ決定手続きを両者に適用可能にする。
• Gn、Rn、Sn の明示的な自動機族を構築し、決定的 Büchi 自動機（DBW）における下界を用いて、指数的短縮性のギャップを示す。
• 分離性および実行の一意性の性質を用いて、GFM が実行に一意性を持つクラスや分離的クラスにおいても指数的に短縮可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 与えられた非決定的 Büchi 自動機が MDP に適している（GFM）かどうかを判定する決定手続きは存在するか？
• RQ2 GFM 性を判定する計算量の複雑さは何か？ 他の自動機理論的問題とどのように関係するか？
• RQ3 GFM 自動機は GFG 自動機と比較して指数的に短縮可能であり、実行に一意性を持つ、あるいは分離的自動機に制限してもそのギャップは維持されるか？
• RQ4 GFM とその定性的な変種 QGFM の間に意味的な違いはあるのか、それとも両者は同一化されるか？
• RQ5 GFM 自動機の指数的短縮性の利点は、安全、到達性、あるいは分離的自動機のような部分クラスにおいても示せるか？

主な発見

• 非決定的 Büchi 自動機が GFM かどうかを判定する問題は決定可能であり、EXPTIME に属する。構成的決定手続きにより、反例の生成も可能である。
• GFM 性は、NFA 全域性問題への還元により、PSPACE 困難であることが示された。
• GFM とその定性的な変種 QGFM は同一化される：GFM 性を十分条件とする条件が、QGFM 性の必要条件でもある。これにより、QGFM のための EXPTIME 決定手続きが GFM に対しても適用可能になる。
• GFM 自動機は GFG 自動機よりも指数的に短縮可能である：n+2 個の状態を持つ自動機族に対して、同等の最小 GFG 自動機には Ω(2n/2) 個の状態が必要である。
• GFM 自動機は一般の非決定的 Büchi 自動機よりも指数的に短縮可能である：n+2 個および n+1 個の状態を持つ自動機族 Rn および Sn に対して、同等の最小 GFM 自動機には少なくとも 2n 個の状態が必要である。
• 実行に一意性を持つ到達性および安全自動機、および到達性言語を認識する分離的自動機に制限しても、指数的短縮性のギャップは維持される。明示的な構成により、同じ下界が示されている。