[论文解读] Deciding What Is Good-For-MDPs

Sven Schewe, Qiyi Tang+1 more|arXiv (Cornell University)|Feb 15, 2022

Formal Methods in Verification被引用 3

一句话总结

该论文首次建立了用于判断非确定性 Buchi 自动机是否为好-用于MDP（GFM）的EXPTIME判定过程，证明了GFM性质是可判定的且为PSPACE-难问题。此外，该研究还表明，即使在限制为运行无歧义或分离安全性/到达性自动机的情况下，GFM自动机相较于GFG自动机和一般非确定性自动机仍具有指数级的紧凑性优势。

ABSTRACT

Nondeterministic good-for-MDPs (GFM) automata are for MDP model checking and reinforcement learning what good-for-games automata are for reactive synthesis: a more compact alternative to deterministic automata that displays nondeterminism, but only so much that it can be resolved locally, such that a syntactic product can be analysed. GFM has recently been introduced as a property for reinforcement learning, where the simpler Büchi acceptance conditions it allows to use is key. However, while there are classic and novel techniques to obtain automata that are GFM, there has not been a decision procedure for checking whether or not an automaton is GFM. We show that GFM-ness is decidable and provide an EXPTIME decision procedure as well as a PSPACE-hardness proof.

研究动机与目标

• 通过提供一种判定给定自动机是否为好-用于MDP（GFM）的判定过程，填补文献中的空白。
• 解决关于GFM自动机是否相对于GFG自动机和一般非确定性自动机具有指数级紧凑性这一开放问题。
• 研究GFM、GFG及其他受限自动机类在紧凑性和可判定性方面的关系。
• 阐明GFM与其定性变体QGFM之间的区别，表明二者相互等价。

提出的方法

• 引入定性GFM（QGFM）的概念，作为GFM的弱化版本，重点关注定性接受条件。
• 通过使用反例生成的构造性自动机理论方法，开发一种用于QGFM性质的EXPTIME判定过程。
• 证明GFM性质可归约为检查自动机所有状态的QGFM性质，从而得出完整的EXPTIME算法。
• 证明QGFM准则也是GFM性质的必要条件，表明GFM与QGFM之间存在等价性，从而使得同一判定过程可同时用于两者。
• 构造显式自动机族（Gn, Rn, Sn）以通过确定性Buchi自动机（DBWs）的下界，展示指数级紧凑性差距。
• 利用分离性和运行无歧义性，证明GFM在紧凑性上的指数级优势在自动机的受限子类中依然成立。

实验结果

研究问题

• RQ1 是否存在一种判定过程，用于判断给定的非确定性Buchi自动机是否为好-用于MDP（GFM）？
• RQ2 判定GFM性质的计算复杂度是多少，其与其它自动机理论问题有何关联？
• RQ3 GFM自动机是否相对于GFG自动机具有指数级紧凑性优势？当限制为运行无歧义或分离自动机时，这一差距是否依然存在？
• RQ4 GFM与其定性变体QGFM之间是否存在有意义的区别，还是二者相互等价？
• RQ5 GFM自动机的指数级紧凑性优势是否在如安全性、到达性或分离自动机等子类中依然可被证明？

主要发现

• 判定非确定性Buchi自动机是否为GFM的问题是可判定的，且位于EXPTIME复杂度类中，且存在一种可生成反例的构造性判定过程。
• GFM性质为PSPACE-难问题，通过从NFA普遍性问题的归约得以证明。
• GFM与其中一定性变体QGFM之间存在等价性：一个对GFM性质充分的条件，同时也是对QGFM性质必要的条件，因此QGFM的EXPTIME判定过程可直接用于GFM判定。
• GFM自动机相较于GFG自动机具有指数级紧凑性优势：对于具有n+2个状态的自动机族，其最小等价GFG自动机需要Ω(2n/2)个状态。
• GFM自动机也相较于一般非确定性Buchi自动机具有指数级紧凑性优势：对于具有n+2和n+1个状态的自动机族Rn和Sn，其最小等价GFM自动机至少需要2n个状态。
• 即使在限制为运行无歧义的到达性与安全性自动机，以及识别到达性语言的分离自动机时，指数级紧凑性差距依然存在，且通过显式构造证明了相同的下界。