[논문 리뷰] The Complexity of Reachability in Parametric Markov Decision Processes

Sebastian Junges, Joost-Pieter Katoen외 2명|arXiv (Cornell University)|2020. 09. 28.

Formal Methods in Verification참고 문헌 56인용 수 10

한 줄 요약

이 논문은 매개변수화된 마르코프 결정 과정(pMDPs)에서 도달 가능성 문제의 계산 복잡도를 규명하며, 보편적 비결정성과 비엄격 비교를 사용하는 pMDPs 및 pMCs에 대해 도달 가능성 제약 조건을 만족하는 매개변수 합성 문제가 ETR-완전하다고 보여준다. 고정된 매개변수 사례에 대해서는 NP-완전성을 증명하고, 존재 이론의 실수(ETR) 표현과 벨만 최적성 조건을 활용하여 날카로운 복잡도 상한을 제공한다.

ABSTRACT

This article presents the complexity of reachability decision problems for parametric Markov decision processes (pMDPs), an extension to Markov decision processes (MDPs) where transitions probabilities are described by polynomials over a finite set of parameters. In particular, we study the complexity of finding values for these parameters such that the induced MDP satisfies some maximal or minimal reachability probability constraints. We discuss different variants depending on the comparison operator in the constraints and the domain of the parameter values. We improve all known lower bounds for this problem, and notably provide ETR-completeness results for distinct variants of this problem.

연구 동기 및 목표

• 전이 확률이 매개변수의 다항식 함수인 매개변수화된 마르코프 결정 과정(pMDPs)에서 매개변수 합성의 계산 복잡도를 규명하는 것.
• 엄격 대비 비엄격 비교 및 존재적 대비 보편적 비결정성과 같은 다양한 제약 조건이 도달 가능성 문제의 복잡도에 미치는 영향을 분석하는 것.
• 기존 복잡도 상한의 격차를 메우기 위해 다양한 변형에 대해 날카로운 하한 및 상한을 확립하는 것.
• pMDP 매개변수 합성을 존재 이론의 실수(ETR)와 연결하여, 실용적 검증을 위해 ETR 솔버를 활용할 수 있도록 하는 것.
• pMCs로의 감소를 통해 부분 관측 가능 MDPs(POMDPs)에서 유한 상태 컨트롤러 합성의 복잡도 상한을 향상시키는 것.

제안 방법

• 모든 또는 일부 스케줄러 하에서 도달 가능성 제약 조건을 만족하는 매개변수 값에 대한 결정 문제로 pMDPs에서의 도달 가능성 합성을 수식화하는 것.
• 특히 벨만 최적성 방정식에서 유도된 다항부등식을 활용하여, 도달 가능성 조건을 ETR 표현으로 표현하는 것.
• 메모리 없는 전략을 추측하고 다항식 시간 내에 유도된 pMCs를 검증함으로써 고정된 매개변수 사례에 대한 NP-소속성을 증명하는 것.
• 그래프 보존 값과 해 함수 표현을 사용하여 존재 이론의 실수(ETR)로의 감소를 통해 ETR-완전성을 확립하는 것.
• 고정된 매개변수 수에 대해 유한한 매개변수 범위를 갖는 pMCs에 대한 기존 결과(예: 고정된 매개변수 수에 대해 P에 속함)를 활용하여 pMDPs에 대한 복잡도 상한을 유도하는 것.
• 벨만 최적성 방정식에 기반한 제약 조건을 적용하여, 유도된 MDPs에서 전략 최소성과 도달 가능성 임계값을 검증하는 것.

실험 결과

연구 질문

• RQ1 보편적 비결정성 하에서 모든 비결정적 선택에 대해 유도된 MDP가 도달 가능성 제약 조건을 만족하도록 하는 매개변수 값의 합성 문제의 계산 복잡도는 무엇인가요?
• RQ2 pMDPs에서 도달 가능성 제약 조건에 엄격 대비 비엄격 비교 연산자를 사용할 경우, 매개변수 합성의 복잡도는 어떻게 달라지나요?
• RQ3 매개변수 수가 고정된 경우, 존재적 비결정성과 보편적 비결정성의 두 변형 모두에서 매개변수 합성의 복잡도는 어떻게 되며, 그 차이는 무엇인가요?
• RQ4 pMCs에서의 매개변수 합성 문제는 존재 이론의 실수(ETR)로 감소하거나 특성화될 수 있으며, 이는 실용적 해결에 어떤 영향을 미치나요?
• RQ5 단일 매개변수와 정량적 도달 가능성 임계값을 갖는 pMDPs에서 매개변수 합성의 가장 날카로운 알려진 복잡도 상한은 무엇인가요?

주요 결과

• 보편적 비결정성을 갖는 pMDPs와 임의의 비교 연산자에 대해 매개변수 합성 문제는 ETR-완전하다.
• 비엄격 비교 연산자(예: ≥, ≤)를 사용하는 pMCs에 대해 매개변수 합성 문제는 ETR-완전하다.
• 엄격 비교 연산자(예: >, <)를 사용하는 pMCs에 대해 매개변수 합성 문제는 NP-난이도이며, 본 논문은 이전의 하한을 향상시킨다.
• 고정된 매개변수 사례에서 존재적 비결정성과 보편적 비결정성의 두 변형 모두 매개변수 합성 문제가 NP에 속하며, 유도된 pMCs의 검증이 다항식 시간 내에 수행 가능하다.
• 본 논문은 일반적인 경우에도 pMDP 매개변수 합성 문제가 ETR-완전하다고 규명한다. 이는 매개변수 수가 유계가 아니어도 성립한다.
• 결과적으로 ETR 솔버를 사용하여 매개변수 합성 문제를 해결할 수 있음을 시사하지만, 현재의 구현에서는 추상화-정밀화 방법이 더 실용적임을 시사한다.