[논문 리뷰] Deciding What Is Good-For-MDPs

Sven Schewe, Qiyi Tang외 1명|arXiv (Cornell University)|2022. 02. 15.

Formal Methods in Verification인용 수 3

한 줄 요약

이 논문은 비결정적 Buchi 온톨로지가 MDP에 적합한지 여부를 판단하는 데 있어 최초의 EXPTIME 결정 절차를 수립하며, GFM 성질이 결정 가능하고 PSPACE-난이도임을 증명한다. 또한 GFG 온톨로지 및 일반적인 비결정적 온톨로지와 비교해 GFM 온톨로지가 지수적으로 더 간결함을 입증한다. 이는 실행에 불확실성이 없는 경우나 분리 가능한 안전성/도달 가능성 온톨로지에 제한된 경우에도 성립한다.

ABSTRACT

Nondeterministic good-for-MDPs (GFM) automata are for MDP model checking and reinforcement learning what good-for-games automata are for reactive synthesis: a more compact alternative to deterministic automata that displays nondeterminism, but only so much that it can be resolved locally, such that a syntactic product can be analysed. GFM has recently been introduced as a property for reinforcement learning, where the simpler Büchi acceptance conditions it allows to use is key. However, while there are classic and novel techniques to obtain automata that are GFM, there has not been a decision procedure for checking whether or not an automaton is GFM. We show that GFM-ness is decidable and provide an EXPTIME decision procedure as well as a PSPACE-hardness proof.

연구 동기 및 목표

• 주어진 온톨로지가 MDP에 적합한지 여부를 판단하는 결정 절차를 제공하여 문헌에서의 격차를 메우기.
• GFM 온톨로지가 GFG 온톨로지 및 일반 비결정적 온톨로지보다 지수적으로 더 간결한지 여부에 대한 열린 문제를 해결하기.
• GFM, GFG 및 기타 제한된 온톨로지 클래스 간의 간결성과 결정 가능성 측면에서의 관계를 조사하기.
• GFM와 그 정량적 변형인 QGFM 사이의 차이를 명확히 하여, 둘이 상호로 충돌함을 보여주기.

제안 방법

• GFM의 완화된 형태로 정량적 GFM(QGFM)의 개념을 도입하여 정량적 수락 조건에 중점을 두기.
• 반례 생성을 포함한 구성적 온톨로지 이론적 접근을 통해 QGFM 성질을 판단하는 EXPTIME 결정 절차를 개발하기.
• 모든 상태에 대해 GFM 성질을 QGFM 성질 검사로 환원함으로써 전체 EXPTIME 알고리즘을 도출하기.
• QGFM 조건이 GFM 성질을 판단하는 데에도 필수적임을 증명함으로써, GFM과 QGFM 간의 충돌이 발생함을 보여주며, 동일한 결정 절차를 양자리에 적용 가능하게 하기.
• Gn, Rn, Sn의 명시적 온톨로지 가족을 구성하여, 결정적 Buchi 온톨로지(DBW)의 하한을 통해 지수적 간결성 격차를 입증하기.
• 분리성 및 실행에 불확실성이 없는 성질을 활용하여, 안전성 및 도달 가능성 온톨로지의 제한된 하위클래스 내에서도 GFM의 지수적 간결성 이점이 유지됨을 보여주기.

실험 결과

연구 질문

• RQ1 주어진 비결정적 Buchi 온톨로지가 MDP에 적합한지 여부를 판단하는 결정 절차가 존재하는가?
• RQ2 GFM 성질을 판단하는 데 필요한 계산 복잡도는 무엇이며, 다른 온톨로지 이론 문제와의 관계는 어떠한가?
• RQ3 GFM 온톨로지는 GFG 온톨로지보다 지수적으로 더 간결한가? 이 격차는 실행에 불확실성이 없는 경우나 분리 가능한 온톨로지에 제한된 경우에도 유지되는가?
• RQ4 GFM과 그 정량적 변형인 QGFM 사이에 의미 있는 차이가 존재하는가, 아니면 둘이 상호로 충돌하는가?
• RQ5 안전성, 도달 가능성 또는 분리 가능한 온톨로지와 같은 하위클래스 내에서도 GFM 온톨로지의 지수적 간결성 이점이 입증될 수 있는가?

주요 결과

• 비결정적 Buchi 온톨로지가 GFM인지 여부를 판단하는 문제는 결정 가능하며, EXPTIME에 속하며, 반례 생성이 가능한 구성적 결정 절차를 제공한다.
• GFM 성질은 NFA의 포괄성 문제로부터의 환원을 통해 PSPACE-난이도임을 증명한다.
• GFM와 그 정량적 변형인 QGFM는 충돌한다: GFM 성질을 충족시키는 데 충분한 조건이 QGFM 성질을 충족시키는 데도 필수적임을 증명함으로써, QGFM에 대한 EXPTIME 결정 절차가 GFM에도 동일하게 적용 가능함을 보였다.
• GFM 온톨로지는 GFG 온톨로지보다 지수적으로 더 간결하다: n+2개 상태를 가진 온톨로지 가족에 대해, 해당하는 최소 GFG 온톨로지에는 Ω(2n/2)개의 상태가 필요하다.
• GFM 온톨로지는 일반적인 비결정적 Buchi 온톨로지보다도 지수적으로 더 간결하다: n+2개 및 n+1개 상태를 가진 Rn 및 Sn 온톨로지 가족에 대해, 해당하는 최소 GFM 온톨로지에는 최소 2n개의 상태가 필요하다.
• 실행에 불확실성이 없는 도달성 및 안전성 온톨로지, 그리고 도달성 언어를 인식하는 분리 가능한 온톨로지에 제한된 경우에도 지수적 간결성 격차가 유지되며, 동일한 하한을 보여주는 명시적 구성이 존재한다.