[논문 리뷰] Sensitivity analysis for finite Markov chains in discrete time

Gert de Cooman, Filip Hermans외 1명|arXiv (Cornell University)|2014. 08. 09.

Bayesian Modeling and Causal Inference참고 문헌 21인용 수 6

한 줄 요약

이 논문은 전이 확률과 초기 확률에 대한 지식 부족에 의한 불확실성 하에서 유한 시간 이산 시간 마르코프 체인에 대한 민감도 분석 프레임워크를 제안한다. 전이 및 초기 확률를 신뢰도 집합을 통해 부정확한 마르코프 체인으로 모델링하며, 하한 및 상한 기대값을 사용하여 상태 분포가 시간이 무한히 흐르면서 유일한 불확실한 불변 신뢰도 집합으로 수렴함을 보여준다. 이는 고전적 페론-프로베니우스 정리를 부정확한 확률 모델로 일반화한 것이다.

ABSTRACT

When the initial and transition probabilities of a finite Markov chain in discrete time are not well known, we should perform a sensitivity analysis. This is done by considering as basic uncertainty models the so-called credal sets that these probabilities are known or believed to belong to, and by allowing the probabilities to vary over such sets. This leads to the definition of an imprecise Markov chain. We show that the time evolution of such a system can be studied very efficiently using so-called lower and upper expectations. We also study how the inferred credal set about the state at time n evolves as n->infinity: under quite unrestrictive conditions, it converges to a uniquely invariant credal set, regardless of the credal set given for the initial state. This leads to a non-trivial generalisation of the classical Perron-Frobenius Theorem to imprecise Markov chains.

연구 동기 및 목표

• 유한 마르코프 체인의 이산 시간에서의 초기 확률과 전이 확률에 대한 불확실성을 다루기 위해.
• 정확한 확률 대신 신뢰도 집합을 사용하여 지식 부족에 의한 불확실성을 모델링하기 위해.
• 이러한 부정확한 마르코프 체인의 장기적 행동을 분석하기 위해.
• 고전적 페론-프로베니우스 정리를 부정확한 확률 모델로 일반화하기 위해.
• n → ∞ 일 때 상태에 대한 신뢰도 집합이 유일한 불변 집합으로 수렴하는 조건을 설정하기 위해.

제안 방법

• 확률에 대한 신뢰도 집합을 사용하여 초기 및 전이 확률의 불확실성을 모델링하며, 확률에 대한 믿음 간격을 표현한다.
• 신뢰도 집합 내에서 확률가 변할 수 있도록 허용하여 부정확한 마르코프 체인을 정의한다.
• 하한 및 상한 기대값을 사용하여 상태 분포의 시간에 따른 변화를 효율적으로 계산한다.
• 신뢰도 집합의 시간 진화를 이용하여 상태 분포의 渐近적 행동을 분석한다.
• 시간 n에 대한 상태에 대한 추론된 신뢰도 집합이 n → ∞ 일 때 유일한 불변 신뢰도 집합으로 수렴함을 증명한다.
• 이러한 수렴이 발생하는 조건을 설정하며, 이를 통해 고전적 페론-프로베니우스 정리를 부정확한 모델로 일반화한다.

실험 결과

연구 질문

• RQ1 전이 확률과 초기 확률이 부분적으로만 알려진 경우, 마르코프 체인에 대해 민감도 분석을 체계적으로 수행할 수 있는 방법은 무엇인가?
• RQ2 신뢰도 집합을 이용한 불확실성 모델링 하에서, 부정확한 마르코프 체인의 장기적 행동은 어떠한가?
• RQ3 시간이 증가함에 따라 상태 분포에 대한 신뢰도 집합이 유일한 불변 집합으로 수렴하는 조건은 무엇인가?
• RQ4 하한 및 상한 기대값의 사용이 부정확한 마르코프 체인에서 시간 진화를 효율적으로 계산하는 데 어떻게 기여하는가?
• RQ5 고전적 페론-프로베니우스 정리는 부정확한 확률 프레임워크로 어느 정도 일반화될 수 있는가?

주요 결과

• 하한 및 상한 기대값을 사용하면 부정확한 마르코프 체인의 시간 진화를 효율적으로 분석할 수 있다.
• 약한 제약 조건 하에서도, 시간 n에 대한 상태에 대한 신뢰도 집합은 n → ∞ 일 때 유일한 불변 신뢰도 집합으로 수렴한다.
• 이 수렴은 초기 신뢰도 집합과 무관하므로, 안정적인 장기적 행동을 나타낸다.
• 이 수렴 결과는 고전적 페론-프로베니우스 정리를 부정확한 확률 설정으로 일반화한 것이다.
• 불변 신뢰도 집합은 전이 행렬의 구조와 전이 확률에 대한 신뢰도 제약 조건에 의해 유일하게 결정된다.