[논문 리뷰] Computing Probabilistic Bisimilarity Distances for Probabilistic Automata

Giorgio Bacci, Giovanni Bacci외 4명|arXiv (Cornell University)|2019. 07. 03.

Formal Methods in Verification인용 수 6

한 줄 요약

이 논문은 확률적 부동기계에서 확률적 바이시밀라리티 거리의 새로운 특성화를 제안하며, 이를 단순한 확률적 게임의 해로 표현함으로써 Condon의 단순 정책 반복을 통한 실용적 알고리즘을 가능하게 한다. 비정지 게임에서의 수렴 문제는 자가폐쇄 관계를 사용하여 해결되며, 할인되지 않은 거리 계산을 위한 첫 번째 효율적인 실용적 해법을 제공한다. 또한 ω-정규 성질 만족도 차이에 대한 이론적 경계를 확립한다.

ABSTRACT

The probabilistic bisimilarity distance of Deng et al. has been proposed as a robust quantitative generalization of Segala and Lynch's probabilistic bisimilarity for probabilistic automata. In this paper, we present a characterization of the bisimilarity distance as the solution of a simple stochastic game. The characterization gives us an algorithm to compute the distances by applying Condon's simple policy iteration on these games. The correctness of Condon's approach, however, relies on the assumption that the games are stopping. Our games may be non-stopping in general, yet we are able to prove termination for this extended class of games. Already other algorithms have been proposed in the literature to compute these distances, with complexity in $ extbf{UP} \cap extbf{coUP}$ and extbf{PPAD}. Despite the theoretical relevance, these algorithms are inefficient in practice. To the best of our knowledge, our algorithm is the first practical solution. The characterization of the probabilistic bisimilarity distance mentioned above crucially uses a dual presentation of the Hausdorff distance due to Mémoli. As an additional contribution, in this paper we show that Mémoli's result can be used also to prove that the bisimilarity distance bounds the difference in the maximal (or minimal) probability of two states to satisfying arbitrary $ω$-regular properties, expressed, eg., as LTL formulas.

연구 동기 및 목표

• 확률적 부동기계에서 할인되지 않은 확률적 바이시밀라리티 거리를 실용적으로 계산할 수 있는 알고리즘을 개발하는 것.
• 바이시밀라리티 거리 계산에서 발생하는 비정지 스토케스틱 게임에서 Condon의 정책 반복의 수렴 문제를 극복하는 것.
• 바이시밀라리티 거리와 ω-정규 성질을 만족하는 최대/최소 확률 간의 차이 사이의 이론적 연결 고리를 설정하는 것.
• SMT 솔버나 고정점 순환 기반 기존 방법들에 비해 계산적으로 효율적인 대안을 제공하는 것.

제안 방법

• 자기자신의 부동기계에서 유도된 단순 스토케스틱 게임의 값으로서 확률적 바이시밀라리티 거리를 특성화한다.
• 게임을 해결하기 위해 Condon의 단순 정책 반복 알고리즘을 적용하며, 자가폐쇄 관계를 사용해 비정지 게임에 이를 적응시킨다.
• Mémoli의 하우스도르프 거리 이중 공식을 활용해 바이시밀라리티 거리를 확률적 성질 만족도와 연결한다.
• 커플링 구조를 사용해 다양한 상태 간의 ω-정규 성질 만족 확률 차이를 경계한다.
• 수렴을 보장하기 위해 Fu의 자가폐쇄 관계를 기반으로 한 정지 조건을 구현한다. 이는 게임이 비정지일 경우에도 유효하다.
• 게임 이론적 공식화를 활용해, 다양한 스케줄러에 의해 유도되는 분포 집합 간의 변동 거리에 대한 경계를 유도한다.

실험 결과

연구 질문

• RQ1 할인되지 않은 경우를 포함해, 확률적 바이시밀라리티 거리를 실용적으로 효율적으로 계산할 수 있는가?
• RQ2 Condon의 정책 반복은 바이시밀라리티 거리 계산에서 발생하는 비정지 스토케스틱 게임에 대해 어떻게 적절히 적용될 수 있는가?
• RQ3 바이시밀라리티 거리와 ω-정규 성질을 만족하는 최대/최소 확률 간의 차이 사이의 관계는 무엇인가?
• RQ4 게임 이론적 특성화는 기존 이론적 방법보다 뛰어난 성능을 보이는 실용적 알고리즘을 이끌 수 있는가?

주요 결과

• 제안된 알고리즘은 할인되지 않은 확률적 바이시밀라리티 거리를 계산하기 위한 첫 번째 실용적 해법으로, SMT 솔버나 고정점 순환 기반 기존 방법들을 능가한다.
• 기존에 실수의 일阶 이론의 존재적 부분에 의존하는 접근 방식보다 수개의 주기 만큼 더 빠른 성능을 달성한다.
• 바이시밀라리티 거리는 두 상태 간에 어떤 ω-정규 성질(예: LTL 공식)을 만족할 최대 및 최소 확률의 차이를 경계한다.
• 이 거리는 또한 모든 가능한 스케줄러에 의해 유도되는 분포 집합 간의 총 변동 거리의 하우스도르프 리프팅을 경계한다.
• 게임 이론적 공식화 덕분에, 게임이 비정지일지라도 정책 반복을 통해 효율적으로 계산이 가능하며, 정밀한 정지 조건 덕분에 수렴이 보장된다.
• 이론적 경계에 따르면, 상태 s에서의 임의의 스케줄러 π에 대해, 상태 t에서의 스케줄러 π′이 존재하여 어떤 가측 성질에 대해 확률의 차이가 d1(s,t) 이내가 된다.