[논문 리뷰] Threshold Constraints with Guarantees for Parity Objectives in Markov Decision Processes

Raphaël Berthon, Mickaël Randour외 1명|arXiv (Cornell University)|2017. 02. 17.

Formal Methods in Verification참고 문헌 3인용 수 6

한 줄 요약

이 논문은 최악의 경우 합성에서 벗어나 마르코프 결정 과정(MDP)에서 폴리 사이클 목표를 다루며, 모든 플레이에서 주요 폴리 사이클 조건을 보장하는 전략과 함께 높은 확률로 보조 폴리 사이클 조건을 만족시키는 전략을 제안한다. 주요 기여는 이러한 문제의 모든 변종이 NP ∩ coNP에 속해 있음을 증명하고, 고전적 폴리 사이클 게임과 동일한 복잡도를 가지며, 최적의 전략을 위해 일반적으로 무한 기억이 필요하다는 것을 보여주는 것이다.

ABSTRACT

The beyond worst-case synthesis problem was introduced recently by Bruyère et al. [BFRR14]: it aims at building system controllers that provide strict worst-case performance guarantees against an antagonistic environment while ensuring higher expected performance against a stochastic model of the environment. Our work extends the framework of [BFRR14] and follow-up papers, which focused on quantitative objectives, by addressing the case of $ω$-regular conditions encoded as parity objectives, a natural way to represent functional requirements of systems. We build strategies that satisfy a main parity objective on all plays, while ensuring a secondary one with sufficient probability. This setting raises new challenges in comparison to quantitative objectives, as one cannot easily mix different strategies without endangering the functional properties of the system. We establish that, for all variants of this problem, deciding the existence of a strategy lies in ${\sf NP} \cap {\sf coNP}$, the same complexity class as classical parity games. Hence, our framework provides additional modeling power while staying in the same complexity class. [BFRR14] Véronique Bruyère, Emmanuel Filiot, Mickael Randour, and Jean-François Raskin. Meet your expectations with guarantees: Beyond worst-case synthesis in quantitative games. In Ernst W. Mayr and Natacha Portier, editors, 31st International Symposium on Theoretical Aspects of Computer Science, STACS 2014, March 5-8, 2014, Lyon, France, volume 25 of LIPIcs, pages 199-213. Schloss Dagstuhl - Leibniz - Zentrum fuer Informatik, 2014.

연구 동기 및 목표

• 최악의 경우 기능적 동작 보장을 보장하는 제어기 합성을 다루며, 이는 폴리 사이클 조건을 통해 이루어지고, 스토케스틱 환경 모델 하에서 높은 기대 성능을 달성하는 것.
• 이전에 양적 목표로 국한되었던 최악의 경우 합성에서, 폴리 사이클 조건으로 표현된 ω-정규 기능 요구사항으로의 확장을 다루는 것.
• 보장된(확실히) 주요 폴리 사이클 목표와 높은 확률(거의 확실히 또는 임계값 이상)로 만족되는 보조 폴리 사이클 목표를 동시에 충족시키는 전략의 존재성과 구성 방법을 분석하는 것.
• 이 확장된 프레임워크의 계산 복잡도를 결정하고, 전략 설계에서 기억의 역할을 평가하는 것.

제안 방법

• 문제를 고전적 폴리 사이클 게임으로 감소시키고, MDP 내의 종결 성분(End Components, ECs)을 분석함으로써 접근한다. 특히 강한 연결성과 균일하게 좋은 종결 성분(VGECs 및 UGECs)에 초점을 맞춘다.
• 먼저 최악의 경우 폴리 사이클 목표를 위반하는 상태를 제거하고, 이후 VGECs와 UGECs의 합집합을 계산하여 확률적 도달 가능성 여부를 평가하는 전략 합성 알고리즘을 설계한다.
• 초기 상태가 주요 폴리 사이클 목표의 확실한 만족성과 VGECs 또는 UGECs로의 확률적 도달 가능성(임계값 이상)을 동시에 만족하는지 검사한다.
• 확률적 모델 체킹에서의 기법, 특히 백분위수 질의와 유도자 계산을 활용하여 기존의 폴리 사이클 게임 결과를 확장한다.
• 정리 3.5와 보조정리 4.3를 통해 폴리 사이클 게임 해소와 확률적 도달 가능성 검사를 조합함으로써, 알고리즘이 NP ∩ coNP 내에서 작동함을 보장한다.
• 라운드 기반 구성 기법을 사용하여 무한 기억 전략을 구성함으로써, 목표 성분으로의 도달 확률을 높이면서도 최악의 경우 보장을 유지한다.

실험 결과

연구 질문

• RQ1 모든 플레이에서 주요 폴리 사이클 목표를 보장하면서도, 주어진 임계값을 초월한 확률로 보조 폴리 사이클 목표를 만족시키는 전략을 합성할 수 있는가?
• RQ2 MDP에서 두 개의 폴리 사이클 목표를 가진 경우, 이러한 전략의 존재성을 결정하는 계산 복잡도는 무엇인가?
• RQ3 유한 기억 전략만으로도 최악의 경우 및 확률적 보장을 달성할 수 있는가, 아니면 무한 기억이 필수적인가?
• RQ4 VGECs 및 UGECs와 같은 종결 성분의 구조를 어떻게 활용하여 이러한 전략의 존재 조건을 특징지을 수 있는가?

주요 결과

• 주요 폴리 사이클 목표를 확실히 만족시키고, 보조 목표를 주어진 임계값을 초월한 확률로 만족시키는 전략의 존재성을 결정하는 문제는 NP ∩ coNP에 속하며, 고전적 폴리 사이클 게임과 동일한 복잡도를 가진다.
• 보조 목표의 거의 확실한 만족성의 경우에도 동일한 복잡도가 유지되며, 이는 복잡도 이론적 관점에서 확장이 타당성을 유지함을 시사한다.
• 최악의 경우 보장과 확률적 보장을 동시에 달성하는 데에는 일반적으로 무한 기억이 필요하다. 일부 구성에서는 유한 기억 전략이 보조 목표를 만족시키는 양의 확률을 달성할 수 없기 때문이다.
• 단지 확실성(S)과 거의 확실성(AS) 연산자만을 사용할 경우, 다수의 폴리 사이클 목표로의 일반화가 가능하며, 이는 더 큰 MDP에서 목표의 논리적 합집합을 단일 폴리 사이클 조건으로 감소시킴으로써 이루어진다.
• 임계값 연산자 P∼c의 경우 일반화가 더 복잡하며, 백분위수 질의 기법과 통합이 필요하여 향후 연구 방향으로 제안된다.
• 엄격한 및 비엄격한 임계값에 대해 명시적인 증거 전략을 제공하며, 이는 기능적 정확성을 유지하면서 최적의 확률적 보장을 달성하기 위해 무한 기억 구성이 필수적임을 입증한다.