[논문 리뷰] Symbolic Algorithms for Qualitative Analysis of Markov Decision Processes with Büchi Objectives

Krishnendu Chatterjee, Monika Henzinger외 2명|arXiv (Cornell University)|2011. 04. 17.

Formal Methods in Verification참고 문헌 14인용 수 8

한 줄 요약

이 논문은 뷔치 목표를 가진 마르코프 결정 과정(MDPs)에서 거의 확실 승리 집합을 계산하기 위한 기호 알고리즘을 제시한다. 기존의 $O(n^2)$ bound에 비해 개선된 $O(n\cdot\sqrt{m})$ 단계를 가지는 부분 제곱 이하의 기호 알고리즘을 도입하였으며, 강한 연결 성분 내에서의 최대 간선 수인 $K$를 기반으로 $O(n\cdot\sqrt{K})$ 단계 내에 승리 집합을 점진적으로 계산하는 새로운 승패 알고리즘을 제안한다. 또한, 악성 강성 성분 분해의 기호 단계를 기존의 worst-case $5n$에서 $4n$으로 개선하였다.

ABSTRACT

We consider Markov decision processes (MDPs) with ω-regular specifications given as parity objectives. We consider the problem of computing the set of almost-sure winning states from where the objective can be ensured with probability 1. The algorithms for the computation of the almost-sure winning set for parity objectives iteratively use the solutions for the almost-sure winning set for Büchi objectives (a special case of parity objectives). Our contributions are as follows: First, we present the first subquadratic symbolic algorithm to compute the almost-sure winning set for MDPs with Büchi objectives; our algorithm takes O(n \sqrt{m}) symbolic steps as compared to the previous known algorithm that takes O(n^2) symbolic steps, where $n$ is the number of states and $m$ is the number of edges of the MDP. In practice MDPs have constant out-degree, and then our symbolic algorithm takes O(n \sqrt{n}) symbolic steps, as compared to the previous known $O(n^2)$ symbolic steps algorithm. Second, we present a new algorithm, namely win-lose algorithm, with the following two properties: (a) the algorithm iteratively computes subsets of the almost-sure winning set and its complement, as compared to all previous algorithms that discover the almost-sure winning set upon termination; and (b) requires O(n \sqrt{K}) symbolic steps, where K is the maximal number of edges of strongly connected components (scc's) of the MDP. The win-lose algorithm requires symbolic computation of scc's. Third, we improve the algorithm for symbolic scc computation; the previous known algorithm takes linear symbolic steps, and our new algorithm improves the constants associated with the linear number of steps. In the worst case the previous known algorithm takes 5n symbolic steps, whereas our new algorithm takes 4n symbolic steps.

연구 동기 및 목표

• MDPs의 뷔치 목표에 대한 정성적 분석을 위한 효율적인 기호 알고리즘을 개발하는 것, 이는 확률적 검증 분야의 핵심 문제이다.
• 거의 확실 승리 집합을 계산하는 기호 복잡도를 감소시켜 이론적 분석과 실질적 검증 파ipeline 모두에 필수적인 요소로 활용하는 것.
• 기존 방법이 종료 시점에만 전체 집합을 반환하는 데 반해, 점진적으로 승리 상태를 발견하는 새로운 알고리즘 패러다임인 '승패'를 도입하는 것.
• MDP 분석의 기본 구성 요소인 기호 SCC 분해를 향상시켜 worst-case 기호 단계 수를 $5n$에서 $4n$으로 감소시키는 것.
• 실험적으로 새로운 알고리즘을 합성 MDPs에 적용하여 고전적 및 이전의 기호 방법에 비해 뚜렷한 성능 향상을 입증하는 것.

제안 방법

• MDPs의 뷔치 목표에서 거의 확실 승리 집합을 계산하기 위한 기호 부분 제곱 이하 알고리즘을 제안하여 $O(n\cdot\sqrt{m})$ 기호 단계를 달성한다.
• 승패 알고리즘을 도입하여 거의 확실 승리 집합의 부분 집합과 그 여집합을 반복적으로 계산함으로써 실행 중에 승리 상태를 조기에 탐지할 수 있도록 한다.
• 기호 SCC 분해를 기본 기능으로 활용하고, worst-case 기호 단계 수를 $5n$에서 $4n$으로 감소시키는 새로운 알고리즘을 사용해 최적화한다.
• 명시적 상태 열거를 피하기 위해 표준 기호 데이터 구조를 사용하여 기호 알고리즘을 설계하고 구현한다.
• 지나치게 단순한 그래프를 방지하고 의미 있는 성능 평가를 보장하기 위해 구조적 랜덤 MDP 생성 기법을 사용한다.
• 다양한 상태 수를 가진 합성 벤치마크에서 새로운 알고리즘을 고전적 및 이전의 기호 알고리즘과 비교한다.

실험 결과

연구 질문

• RQ1 MDPs의 뷔치 목표에서 거의 확실 승리 집합을 부분 제곱 이하의 기호 단계 내에서 계산할 수 있는가?
• RQ2 종료 시점에만 승리 상태를 반환하는 것이 아니라, 실행 중에 점진적으로 승리 상태를 식별할 수 있는 기호 알고리즘을 설계할 수 있는가?
• RQ3 기호 SCC 분해를 개선하여 worst-case 기호 단계 수의 상수 계수를 줄일 수 있는가?
• RQ4 실제로 새로운 알고리즘이 고전적 및 이전의 기호 알고리즘에 비해 뚜렷한 성능 향상을 보여주는가?
• RQ5 승패 알고리즘의 점진적 승리 상태 탐지 방식이 실제 검증 워크로드에서 유용한가?

주요 결과

• 제안된 기호 알고리즘은 $O(n\cdot\sqrt{m})$ 기호 단계 내에 거의 확실 승리 집합을 계산하며, 이는 기존의 $O(n^2)$ bound에 비해 뚜렷한 개선이다.
• 고정된 출력 차수를 가진 MDPs의 경우, 새로운 알고리즘은 $O(n\cdot\sqrt{n})$ 기호 단계 내에 실행되며, 이는 이전 방법의 $O(n^2)$ 대비 향상된 성능을 보인다.
• 승패 알고리즘은 $K$가 어떤 강한 연결 성분 내 최대 간선 수일 때 $O(n\cdot\sqrt{K})$ 기호 단계를 요구하며, 실행 중에 승리 상태를 점진적으로 노출시킨다.
• 새로운 기호 SCC 분해 알고리즘은 worst-case 기호 단계 수를 $5n$에서 $4n$으로 감소시켜 상수 계수 측면에서 20% 향상된 결과를 얻었다.
• 실험 결과, 새로운 알고리즘은 훨씬 적은 기호 단계 수와 더 짧은 실행 시간을 요구한다: 20,000개 상태의 경우, 고전적 알고리즘은 약 306,000단계가 필요로 했지만, 최고의 새로운 알고리즘은 단지 약 13,700단계만 필요로 했다.
• 실행 시간 향상도 뚜렷하다: 20,000개 상태의 경우, 고전적 알고리즘이 약 3,974초가 걸린 데 비해, 최고의 새로운 알고리즘은 단지 약 217초만에 완료되었다.