[논문 리뷰] On the Complexity of Reachability in Parametric Markov Decision Processes

Tobias Winkler, Sebastian Junges외 2명|arXiv (Cornell University)|2019. 01. 01.

Formal Methods in Verification인용 수 5

한 줄 요약

이 논문은 매개변수화된 마르코프 결정 과정(pMDPs)에서 도달 가능성 합성의 계산 복잡도를 규명하며, 악의적인 비결정성과 비엄격 비교 연산자를 가진 pMDPs에 대해 ETR-완전성을 보이고, 엄격 연산자를 가진 경우 NP-난이도임을 밝혀낸다. 또한 다항부등식과 순위 기반 상태 순위를 사용한 새로운 인코딩 기법을 제안하여 모든 스케줄러 하에서 도달 가능성 확률을 모델링함으로써, 다양한 매개변수 도메인과 비결정적 의미론에서 정확한 매개변수 합성과 공식적인 복잡도 보장을 가능하게 한다.

ABSTRACT

This paper studies parametric Markov decision processes (pMDPs), an extension to Markov decision processes (MDPs) where transitions probabilities are described by polynomials over a finite set of parameters. Fixing values for all parameters yields MDPs. In particular, this paper studies the complexity of finding values for these parameters such that the induced MDP satisfies some reachability constraints. We discuss different variants depending on the comparison operator in the constraints and the domain of the parameter values. We improve all known lower bounds for this problem, and notably provide ETR-completeness results for distinct variants of this problem. Furthermore, we provide insights in the functions describing the induced reachability probabilities, and how pMDPs generalise concurrent stochastic reachability games.

연구 동기 및 목표

• pMDPs에서 도달 가능성 제약 조건을 만족시키는 매개변수 값의 계산 복잡도를 규명하는 것.
• 다양한 비교 연산자(엄격 대비 비엄격)와 매개변수 도메인(그래프 유지, 잘 정의된)이 도달 가능성 합성의 복잡도에 미치는 영향을 분석하는 것.
• 모든 스케줄러 하에서 도달 가능성 확률을 정확히 포괄하는 형식적 인코딩을 개발하는 것, 특히 잘 정의된 및 그래프 유지 인스턴스화를 포함하여.
• pMDPs를 동시 스토케스틱 게임으로 일반화하고, 강건한 스케줄러 합성과의 연결 고리를 설정하는 것.
• pMC 매개변수 합성과 컨트롤러 합성 간의 등가성을 활용하여 POMDP의 유한 상태 컨트롤러 합성에 대한 복잡도 한계를 향상시키는 것.

제안 방법

• 도달 가능성 확률과 목표 상태로의 상태 근접도를 모델링하기 위해 보조 변수 vs, ps, rs를 사용한 pMDP 도달 가능성의 새로운 인코딩을 제안.
• 목표 상태로 향하는 경로의 순위를 엄격히 증가시키는 방식으로 순환적 추론을 방지하기 위해 순위 변수 rs를 활용.
• 모든 스케줄러 하에서 도달 가능성 제약 조건을 다항부등식으로 인코딩하여 악의적 비결정성과 천사적 비결정성 간의 차이를 명확히 구분.
• 그래프 유지 및 잘 정의된 매개변수 인스턴스화에 대해 별도의 인코딩을 도입하여 매개변수 할당 시 사라지는 전이를 처리.
• ETR(실수의 존재 이론) 형식을 활용하여 매개변수 합성 문제의 전체 해 공간을 포괄적으로 포착.
• 매개변수 없는 MDP에서의 경로 존재성 및 확률 한계를 모델링하기 위해 POMDP 컨트롤러 합성 및 반례 생성 기법을 재사용 및 확장.

실험 결과

연구 질문

• RQ1 모든 스케줄러 하에서 도달 가능성 확률이 주어진 임계값을 초과하도록 하는 pMDPs에서 매개변수 값의 계산 복잡도는 무엇인가?
• RQ2 비교 연산자 선택(엄격 대비 비엄격)과 매개변수 도메인(그래프 유지 대비 잘 정의됨)에 따라 매개변수 합성의 복잡도는 어떻게 변하는가?
• RQ3 다항부등식 인코딩을 사용하여 pMDPs에서 원하는 도달 가능성 확률을 유도하는 매개변수 값의 집합을 정확히 특성화할 수 있는가?
• RQ4 pMDPs는 동시 스토케스틱 도달 가능성 게임으로 어떻게 일반화되며, 이러한 연결에서 도출되는 복잡도 통찰은 무엇인가?
• RQ5 POMDP에서 유한 상태 컨트롤러 합성의 복잡도 한계는 무엇이며, 이는 이전 결과보다 어떻게 향상되는가?

주요 결과

• 악의적 비결정성을 가진 pMDPs와 비엄격 비교 연산자를 가진 경우, 이 논문은 ETR-완전성을 입증하여 오랫동안 미해결이었던 문제를 해결한다.
• 천사적 비결정성을 가진 pMDPs의 경우, 합성 문제의 복잡도가 pMC의 해당 문제와 동일한 복잡도를 가짐을 입증한다.
• 엄격 비교 연산자를 가진 pMC에 대해 NP-난이도가 증명되어 이전의 하한 보다 향상된 결과를 도출한다.
• 고정된 수의 매개변수를 가진 pMDPs에 대해, 천사적 및 악의적 비결정성 모두에 대해 균일한 NP 상한이 확립된다.
• 이 논문은 pMDP 매개변수 합성과 POMDP에서의 유한 상태 컨트롤러 합성 간의 형식적 연결 고리를 제공하며, 메모리 제한 전략에 대한 복잡도 한계를 향상시킨다.
• 순위 기반 상태 순위와 부울 경로 존재 변수(ps)를 사용한 제안된 인코딩은, 잘 정의된 매개변수 인스턴스화 조건 하에서도 모든 스케줄러 하에서 도달 가능성의 정확한 ETR 기반 특성화를 가능하게 한다.