[논문 리뷰] Linear Distances between Markov Chains

Przemysław Daca, Thomas A. Henzinger외 2명|arXiv (Cornell University)|2016. 04. 30.

Formal Methods in Verification참고 문헌 7인용 수 6

한 줄 요약

이 논문은 위상수학, 선형 시간 의논식(LTL), 또는 옴타톤을 통한 확률적 성질로 표현된 마르코프 체인 간 선형 거리에 대한 통합 프레임워크를 제안한다. 이는 총 변화 거리(total variation distance)는 시뮬레이션(블랙박스)으로부터 추정될 수 없지만, 추적 거리(trace distance)는 추정 가능하다는 것을 입증한다. 특정 LTL 조각과 고정 크기의 옴타톤에 대해서는 긍정적인 결과를, 일반 클래스에 대해서는 부정적인 결과를 얻으며, 전이 확률의 유한 정밀도는 이전에 추정 불가능했던 거리에 대해 추정 가능성을 회복시킨다.

ABSTRACT

We introduce a general class of distances (metrics) between Markov chains, which are based on linear behaviour. This class encompasses distances given topologically (such as the total variation distance or trace distance) as well as by temporal logics or automata. We investigate which of the distances can be approximated by observing the systems, i.e. by black-box testing or simulation, and we provide both negative and positive results.

연구 동기 및 목표

• 마르코프 체인 간 선형 거리를 확률적 성질을 사용하여 일반화된 프레임워크로 형식화하기.
• 유한 길이의 추적(trace)에 제한된 조건에서, 시뮬레이션 실행 결과로부터 어떤 거리가 추정 가능한지 규명하기.
• 위상수학, LTL 조각, 옴타톤 등 다양한 성질 클래스 간 추정 가능과 추정 불가능의 경계를 규명하기.
• 전이 확률의 유한 정밀도가 이전에 추정 불가능했던 거리의 추정 가능성을 회복시키는 방식을 탐색하기.

제안 방법

• 성질 클래스에 대해 만족 확률의 차이의 상한으로서 선형 거리를 정의한다: $ \mathsf{D}(s,t) = \sup_{p \in \mathcal{C}} |p(s) - p(t)| $, 여기서 $ p(s) $ 는 마르코프 체인 $ s $ 에서 성질 $ p $ 를 만족할 확률이다.
• 위상수학 클래스, LTL(예: $ \mathbf{F}\mathbf{G}, \mathbf{G}\mathbf{F} $)의 조각, 결정적 라빈 옴타톤(DRA)을 사용하여 성질를 특성화한다.
• 최소 전이 확률 $ p_{\mathsf{min}} $ 의 알려진 하한이 있는 조건에서, 블랙박스 마르코프 체인에서 성질 만족 확률을 추정하기 위해 통계적 모델 체킹 기법을 사용한다.
• 무한 수렴 성질에서 임의로 작은 차이를 감지할 수 없는 문제로의 감소를 통해 추정 불가능성을 증명한다.
• 특정 클래스(예: $ \mathbf{F}\mathbf{G}, \mathbf{G}\mathbf{F} $-LTL, 고정 크기의 DRA)에서 BSCC와 성질 확률을 통계적 학습을 통해 유추할 수 있음을 보여 추정 가능성을 확립한다.
• 유한 정밀도를 활용하여 전이 확률을 정확히 학습하고, [8], [5] 등에서 제안된 화이트박스 근사 알고리즘을 적용하여 추정 가능성을 복구한다.

실험 결과

연구 질문

• RQ1 두 마르코프 체인 간 총 변화 거리를 전이 확률의 하한이 알려져 있더라도, 화이트박스 접근 없이 시뮬레이션 실행만으로 추정할 수 있는가?
• RQ2 유한 길이의 시뮬레이션 추적을 사용하여, 마르코프 체인 간 추적 거리를 블랙박스 설정에서 추정할 수 있는가?
• RQ3 LTL의 어떤 조각이 시뮬레이션으로부터 유추 가능한 거리를 유도하는가? 그리고 이러한 추정 가능성을 가능하게 하는 구조적 성질은 무엇인가?
• RQ4 결정적 라빈 옴타톤으로 정의된 거리는 추정 가능한가? 그리고 옴타톤 크기에 대한 어떤 제약 조건이 필요한가?
• RQ5 전이 확률의 유한 정밀도가 이전에 추정 불가능했던 거리를 추정 가능한 것으로 전환하는가? 만약 그렇다면, 그 방식은 무엇인가?

주요 결과

• 무한 수렴 성질에서 임의로 작은 차이를 감지할 수 없는 문제의 결정 불가능성으로 인해, 전이 확률의 하한이 알려져 있더라도 마르코프 체인 간 총 변화 거리는 시뮬레이션 실행만으로 추정될 수 없다.
• 추적 거리는 블랙박스 설정에서 추정 가능하다. 이는 BSCC 유추와 시뮬레이션을 통한 통계적 근사가 가능한 성질 클래스와 관련이 있기 때문이다.
• $ \mathbf{F}\mathbf{G} $ 와 $ \mathbf{G}\mathbf{F} $ 연산자에 부울 연결자를 적용한 LTL 조각은 추정 가능하다. 이는 BSCC 내에서 도달 가능성과 재현성 검사를 수행하는 것으로 감소하기 때문이다.
• 모든 결정적 라빈 옴타톤 클래스로 정의된 거리는 추정 불가능하다. 이는 임의로 긴 프리픽스 이벤트를 인코딩할 수 있어 무한 정밀도가 필요하기 때문이다.
• 고정 크기의 결정적 라빈 옴타톤(크기 ≤ k)에 대해서는 순열과 통계적 모델 체킹을 통해 거리가 추정 가능해지며, 이는 실용적인 근사화를 가능하게 한다.
• 전이 확률의 유한 정밀도(예: 소수 두 자리)는 이전에 추정 불가능했던 거리, 즉 총 변화 거리와 추적 거리 모두에 대해 추정 가능성을 복구한다. 이는 체인의 정확한 학습과 화이트박스 알고리즘 적용을 가능하게 하기 때문이다.