[논문 리뷰] Counterexample-guided Abstraction Refinement for POMDPs

Xiaobin Zhang, Bo Wu외 1명|arXiv (Cornell University)|2017. 01. 22.

Formal Methods in Verification참고 문헌 31인용 수 6

한 줄 요약

이 논문은 부분적으로 관찰 가능한 마르코프 결정 과정(POMDPs)를 위한 최초의 반례 유도 추상화 정밀화(CEGAR) 프레임워크를 제안한다. 새로운 추상 시스템 모델인 0/1-가중치 자동화 및 z-라벨링($0/1$-WA$_z$)과 확률적 계산 트리 논리(PCTL)의 일부를 유지하는 안전한 시뮬레이션 관계를 도입한다. 이 방법은 원래 POMDP에 대한 결론적인 검증 결과를 확보할 때까지 모델 체킹을 통해 추상 시스템에서 반례를 추출하고 이를 바탕으로 추상화를 반복적으로 정밀화한다. 이로써 상태 공간 복잡도를 감소시키면서도 타당성과 완전성을 확보한 검증을 달성한다.

ABSTRACT

Partially Observable Markov Decision Process (POMDP) is widely used to model probabilistic behavior for complex systems. Compared with MDPs, POMDP models a system more accurate but solving a POMDP generally takes exponential time in the size of its state space. This makes the formal verification and synthesis problems much more challenging for POMDPs, especially when multiple system components are involved. As a promising technique to reduce the verification complexity, the abstraction method tries to find an abstract system with a smaller state space but preserves enough properties for the verification purpose. While abstraction based verification has been explored extensively for MDPs, in this paper, we present the first result of POMDP abstraction and its refinement techniques. The main idea follows the counterexample-guided abstraction refinement (CEGAR) framework. Starting with a coarse guess for the POMDP abstraction, we iteratively use counterexamples from formal verification to refine the abstraction until the abstract system can be used to infer the verification result for the original POMDP. Our main contributions have two folds: 1) we propose a novel abstract system model for POMDP and a new simulation relation to capture the partial observability then prove the preservation on a fragment of Probabilistic Computation Tree Logic (PCTL); 2) to find a proper abstract system that can prove or disprove the satisfaction relation on the concrete POMDP, we develop a novel refinement algorithm. Our work leads to a sound and complete CEGAR framework for POMDP.

연구 동기 및 목표

• 부분 관찰로 인해 지수적 복잡도를 가지는 POMDPs의 형식적 검증에서 상태 공간 폭발 문제를 해결하기 위해.
• 성공적으로 MDPs에 적용된 추상화 기반 검증을 부분 관찰이 추가되는 POMDPs로 확장하기 위해.
• 반례를 사용하여 추상화를 자동으로 생성하고 정밀화하는 타당성과 완전성을 보장하는 CEGAR 프레임워크를 개발하기 위해.
• 새로운 추상 시스템 모델인 $0/1$-WA$_z$와 부분 관찰을 반영하고 핵심 PCTL 성질을 유지하는 시뮬레이션 관계인 안전한 시뮬레이션을 정의하기 위해.
• 반복적 정밀화를 통해 상태 공간을 축소함으로써 POMDPs에서 유한 시간 안전-PCTL 명시를 효율적으로 검증할 수 있도록 하기 위해.

제안 방법

• POMDPs를 위한 추상 시스템 모델로 $0/1$-WA$_z$를 제안하며, 부분 관찰을 표현하기 위해 관찰 라벨링을 $0/1$-가중치 자동화에 추가한다.
• MDPs의 강한 시뮬레이션을 확장하여 추상 시스템의 성질이 실제 POMDP의 성질을 반영하도록 보장하는 새로운 시뮬레이션 관계인 안전한 시뮬레이션을 정의한다.
• POMDP에 대한 몰입 구조를 통해 최초의 거친 추상화를 구성하며, 가능한 가장 거친 $0/1$-WA$_z$로 시작한다.
• 이전 연구에서 개발된 알고리즘을 사용하여 추상 시스템에서 모델 체킹을 수행하여, 높은 확률로 PCTL 명시를 위반하는 유한 경로 집합 형태의 반례를 탐지한다.
• 발견된 반례가 실제 POMDP에서의 위반이 아닌 가짜인지(허위 반례인지) 여부를 검증한다. 만약 허위 반례라면 반례를 이용해 몰입 구조를 업데이트하여 추상화를 정밀화한다.
• 추상화를 정밀화하고 재검증하는 과정을 반복하여, 추상 시스템이 명시가 성립함을 증명하거나 실제 POMDP에서의 진짜 반례를 발견할 때까지 진행한다.

실험 결과

연구 질문

• RQ1 부분 관찰의 추가적인 복잡성에도 불구하고, MDPs에서 사용된 추상화 기법을 POMDPs로 효과적으로 확장할 수 있는가?
• RQ2 POMDPs에서 핵심 PCTL 성질을 유지하기 위해 필요한 새로운 추상 시스템 모델과 시뮬레이션 관계는 무엇인가?
• RQ3 추상 시스템에서 유도된 반례는 어떻게 정밀화를 이끌고, 검증의 타당성과 완전성을 보장하는 데 사용될 수 있는가?
• RQ4 완전한 상태 공간 탐색을 피하면서도, 전체적으로 자동화된 CEGAR 스타일의 프레임워크를 POMDP 검증에 구축할 수 있는가?
• RQ5 가중치가 부여된 POMDP에서 유도된 MDP를 어떻게 활용하여 최적 정책을 계산하고, 유한 시간 PCTL 성질을 검증할 수 있는가?

주요 결과

• 제안된 $0/1$-WA$_z$ 모델은 관찰 라벨링을 통해 부분 관찰의 본질적인 구조를 유지하면서 POMDPs를 성공적으로 추상화한다.
• 안전한 시뮬레이션 관계는 시간이 유한한 명시에서 안전-PCTL의 만족도를 보존함을 증명하여 추상화의 타당성을 보장한다.
• CEGAR 프레임워크는 타당성과 완전성을 갖춘다: 명시가 성립함을 증명하거나 실제 POMDP에서의 진짜 반례를 발견한다.
• 반례 기반 정밀화를 통해 더 작은 추상 시스템에서의 모델 체킹을 가능하게 함으로써 검증 복잡도를 감소시킨다.
• 계산된 가치 함수 $V_k(h)$는 $\mathcal{U}^{\leq k}$-제한된 PCTL 공식의 만족 확률의 최대 누적값을 정확히 계산하며, $V_k(h_0) \unlhd p$는 만족 여부를 결정한다.
• 프레임워크는 유도된 MDP에서 최적 정책 계산(예: POMCP를 통한)을 지원하여 복잡한 시스템의 확장 가능한 분석을 가능하게 한다.