[논문 리뷰] Hitting Times and Probabilities for Imprecise Markov Chains

Thomas Krak, Natan T’Joens외 1명|arXiv (Cornell University)|2019. 05. 21.

Bayesian Modeling and Causal Inference참고 문헌 21인용 수 5

한 줄 요약

이 논문은 비정확한 마르코프 체인의 세 가지 서로 다른 수식화 방식—동질 마르코프 체인의 집합, 일반 확률 과정의 집합, 게임 이론적 모델—사이에서 하향 기대 도달 시간과 도달 확률의 하한 및 상한이 동일하다는 것을 입증한다. 이는 정확한 마르코프 체인에 대한 고전적 특성화를 직접 일반화하며, 이러한 비정확한 기대가 정확한 경우를 확장하는 비선형 방정식계를 만족함을 증명함으로써, 비정확한 마르코프 체인의 다양한 해석 간에 추론을 통합한다.

ABSTRACT

We consider the problem of characterising expected hitting times and hitting probabilities for imprecise Markov chains. To this end, we consider three distinct ways in which imprecise Markov chains have been defined in the literature: as sets of homogeneous Markov chains, as sets of more general stochastic processes, and as game-theoretic probability models. Our first contribution is that all these different types of imprecise Markov chains have the same lower and upper expected hitting times, and similarly the hitting probabilities are the same for these three types. Moreover, we provide a characterisation of these quantities that directly generalises a similar characterisation for precise, homogeneous Markov chains.

연구 동기 및 목표

• 비정확한 마르코프 체인의 다양한 수식화 방식 간에 기대 도달 시간과 도달 확률을 통합적으로 다루는 것.
• 세 가지 서로 다른 해석—마르코프 체인의 집합, 일반 확률 과정, 게임 이론적 모델—사이에서 하한 및 상한 기대 도달 시간과 확률이 동일함을 보여주는 것.
• 정확한 마르코프 체인에 대한 도달 시간과 도달 확률의 고전적 특성화를 비정확한 마르코프 체인으로 일반화하여, 정확한 경우를 확장하는 비선형 방정식계를 제공하는 것.

제안 방법

• 비정확한 마르코프 체인을 세 가지 서로 다른 프레임워크—동질 마르코프 체인의 집합, 일반 확률 과정, 게임 이론적 확률 모델—를 통해 수식화한다.
• 합리적인 하한 및 상한 예측을 사용하여 도달 시간과 확률에 대한 하한 및 상한 기대를 정의한다.
• 고전적 정확한 마르코프 체인 해법을 일반화하는 비선형 방정식계를 통해 이러한 기대의 특성화를 도출한다.
• 게임 이론적 모델과 도달 확률 해법을 연결하기 위해 매개수 λ → 0 을 포함한 극한 절차를 사용한다.
• 임시 상태 공간에 대한 행렬 역행렬 기법을 적용하여 Ac \ C 상에서의 시스템을 해결함으로써, 다양한 모델 간의 해가 동일함을 증명한다.
• 수렴하는 함수와 역행렬의 존재성과 같은 위상수학적 및 측도론적 도구를 사용하여 결과를 엄밀하게 확립한다.

실험 결과

연구 질문

• RQ1 비정확한 마르코프 체인의 세 주요 수식화 방식 간에 하한 및 상한 기대 도달 시간과 확률이 다를까?
• RQ2 정확한 마르코프 체인에 대한 도달 시간과 확률의 고전적 특성화를 비정확한 설정으로 확장할 수 있을까?
• RQ3 모든 비정확한 마르코프 체인의 해석에 걸쳐 하한 및 상한 기대 도달 시간과 확률을 특성화하는 통합된 방정식계가 존재하는가?

주요 결과

• 비정확한 마르코프 체인의 세 해석—동질 마르코프 체인의 집합, 일반 확률 과정, 게임 이론적 모델—모두에서 하한 및 상한 기대 도달 시간과 도달 확률이 동일하다.
• 도달 확률 p∗_A 는 방정식 p0 = IA + IAc · T p0 의 최소 비음수 해이며, 이는 정확한 경우를 일반화한다.
• 상한 도달 확률은 매개수 λ → 0 으로 수렴하는 해의 극한으로 특성화되며, 이는 다양한 모델 간의 일관성을 보장한다.
• 임시 집합 Ac \ C 상의 해는 (I − F)−1 으로 유일하게 결정되며, 여기서 F 는 Ac \ C 에 제한된 전이 행렬이다.
• 논문은 상한 기대 도달 확률의 값이 집합 내 모든 모델에 대한 상한과 일치함을 증명하여, 민감도 분석 해석과의 일관성을 확인한다.
• 결과는 Lopatatzidis 등이 제시한 출생-사망 체인과 De Cooman 등이 제시한 비선형 시스템 연구를 포함하여 이전 연구를 통합하며, 이들이 일반 특성화의 특수한 경우임을 보여준다.