[논문 리뷰] Energy and Mean-Payoff Parity Markov Decision Processes

Krishnendu Chatterjee, Laurent Doyen|arXiv (Cornell University)|2011. 01. 01.

Formal Methods in Verification참고 문헌 16인용 수 10

한 줄 요약

이 논문은 양적 자원 제약 조건과 ω-정규 사양을 갖는 반응형 시스템을 모델링하기 위해 복합적인 파리티, 에너지, 평균수익 목표를 갖는 마코프 결정 과정(MDPs)을 연구한다. 평균수익 파리티 MDPs에서 거의 확실히 승리할 수 있는 상태를 결정하는 문제는 다항시간 내에 해결 가능하며, 에너지 파리티 MDPs의 경우 문제는 NP ∩ coNP에 속하고, 의사다항시간 알고리즘이 존재하여 복잡도 격차를 해결하고 이전의 PSPACE 상계를 향상시킨다.

ABSTRACT

We consider Markov Decision Processes (MDPs) with mean-payoff parity and energy parity objectives. In system design, the parity objective is used to encode ω-regular specifications, and the mean-payoff and energy objectives can be used to model quantitative resource constraints. The energy condition requires that the resource level never drops below 0, and the mean-payoff condition requires that the limit-average value of the resource consumption is within a threshold. While these two (energy and mean-payoff) classical conditions are equivalent for two-player games, we show that they differ for MDPs. We show that the problem of deciding whether a state is almost-sure winning (i.e., winning with probability 1) in energy parity MDPs is in NP \cap coNP, while for mean-payoff parity MDPs, the problem is solvable in polynomial time, improving a recent PSPACE bound.

연구 동기 및 목표

• 에너지 또는 평균수익 목표와 복합된 파리티 목표를 갖는 MDPs에서 거의 확실히 승리할 수 있는 전략을 결정하는 데 필요한 계산 복잡도를 분석하는 것.
• 에너지 파리티 MDPs의 경우 복잡도 격차를 해결하여 문제의 복잡도가 NP ∩ coNP에 속하고 의사다항시간 내에 해결 가능하다는 것을 보여주는 것.
• 이전 연구에서 제시된 PSPACE 상계를 향상시켜 평균수익 파리티 MDPs에 대해 다항시간 알고리즘을 제공하는 것.
• 에너지 및 평균수익 파리티 목표에 대해 거의 확실히 승리할 수 있는 전략의 메모리 요구량을 규명하는 것.
• 문제들을 파리티 게임과 이인성 에너지 게임에 연결하여 날카로운 복잡도 상계를 확립하는 것.

제안 방법

• 거의 확실히 승리할 수 있는 전략을 지닌 강한 연결된 부분 MDPs로 MDP를 분해하기 위해 종단성분 분석을 사용한다.
• 가장 작은 짝수 우선순위부터 시작하여, 짝수 우선순위를 우선순위로 삼아 승리하는 종단성분을 반복적으로 계산한다.
• 평균수익 파리티 MDPs의 경우, 각 종단성분 내에서 최대 기대 평균수익 값이 ν 이상인지 여부를 확인하여 승리하는 종단성분을 계산한다.
• 선형 프로그래밍을 활용해 부분 MDPs 내에서 평균수익 값을 계산함으로써 다항시간 계산이 가능하도록 한다.
• 에너지 파리티 MDPs를 이인성 에너지 뷔치 게임으로 감소시켜 기존의 NP ∩ coNP 알고리즘을 활용한다.
• 유도자 및 부분 MDP 분석을 적용하여 승리하는 종단성분으로의 거의 확실한 도달 가능성을 계산한다.

실험 결과

연구 질문

• RQ1 에너지 파리티 MDPs에서 거의 확실히 승리할 수 있는 상태를 결정하는 데 필요한 계산 복잡도는 무엇인가요?
• RQ2 평균수익 파리티 MDPs에서 거의 확실히 승리할 수 있는 상태를 결정하는 문제는 다항시간 내에 해결 가능할 수 있으며, 이는 이전의 PSPACE 상계를 향상시키는가요?
• RQ3 에너지 및 평균수익 파리티 목표에 대해 거의 확실히 승리할 수 있는 전략의 메모리 요구량은 무엇인가요?
• RQ4 에너지 및 평균수익 목표는 이인성 게임에서는 동치이지만, MDPs에서는 어떻게 다릅니까?
• RQ5 승리하는 종단성분을 효율적으로 계산할 수 있는가? 이를 통해 평균수익 파리티 목표에 대한 다항시간 해결이 가능해지는가?

주요 결과

• 평균수익 파리티 MDPs에서 거의 확실히 승리할 수 있는 상태를 결정하는 문제는 다항시간 내에 해결 가능하며, 이는 엄밀한 PTIME-완전성 상한을 제공한다.
• 에너지 파리티 MDPs의 경우 문제는 NP ∩ coNP에 속하고, 의사다항시간 알고리즘이 제안되어, 파리티 게임이 P에 속하지 않는 한 최고의 알려진 상한과 일치한다.
• 비엄격 부등호(≥ν)를 갖는 평균수익 파리티 목표에 대해 거의 확실히 승리할 수 있는 전략은 일반적으로 무한 메모리가 필요하지만, 엄격 부등호(>ν)의 경우 유한 메모리 전략으로도 충분하다.
• 승리하는 종단성분은 짝수 최소 우선순위를 가지며, 최대 기대 평균수익 값이 ν 이상인 부분 MDPs로 정의된다.
• 평균수익 파리티 MDPs의 값 함수는 승리하는 종단성분의 합집합으로의 거의 확실한 도달 가능성을 감소시켜 다항시간 내에 계산 가능하다.
• 에너지와 파리티 목표의 논리합은 NP ∩ coNP 내에서 결정 가능하며, 평균수익과 파리티 목표의 논리합은 다항시간 내에 해결 가능하다.