[논문 리뷰] A graph theoretic interpretation of the mean first passage times

Pavel Chebotarev|arXiv (Cornell University)|2007. 01. 12.

Graph theory and applications참고 문헌 5인용 수 9

한 줄 요약

이 논문은 에르고딕 마르코프 체인에서 평균 첫 번째 도착 시간(MFPT)을 그래프 이론적으로 해석하며, 체인의 방향성과 가중치가 부여된 그래프 표현에서 MFPT를 가중치가 부여된 숲의 비율로 표현한다. $ i \neq j $에 대해 $ m_{ij} = f_{ij}/q_j $임을 증명하며, 여기서 $ f_{ij} $는 한 나무에 상태 $ i $가 포함되고 다른 나무가 상태 $ j $로 수렴하는 2-나무 내림 숲의 총 가중치이며, $ q_j $는 상태 $ j $로 수렴하는 스패닝 트리의 총 가중치이다. $ m_{jj} = 1/\tilde{q}_j $이다.

ABSTRACT

Let $m_{ij}$ be the mean first passage time from state $i$ to state $j$ in an $n$-state ergodic homogeneous Markov chain with transition matrix $T$. Let $G$ be the weighted digraph without loops whose vertex set coincides with the set of states of the Markov chain and arc weights are equal to the corresponding transition probabilities. We give a graph-theoretic interpretation to $m_{ij}$. Namely, We show that $m_{ij}=f_{ij}/q_j$ if $i e j$ and $m_{ij}=1/ ilde q_j$ if $i=j$, where $f_{ij}$ is the total weight of 2-tree spanning converging forests in $G$ that have one tree containing $i$ and the other tree converging to $j$, $q_j$ is the total weight of spanning trees converging to $j$ in $G$, and $ ilde q_j=q_j/\sum_{k=1}^nq_k$. The result is illustrated by an example. Keywords: Markov chain; Mean first passage time; Spanning rooted forest; Matrix forest theorem; Laplacian matrix

연구 동기 및 목표

• 에르고딕 마르코프 체인에서 평균 첫 번째 도착 시간(MFPT)에 대한 조합적이고 그래프 이론적인 해석을 수립하는 것.
• 마르코프 체인의 방향성 그래프 표현에서 MFPT를 가중치가 부여된 내림 숲과 스패닝 트리로 표현하는 것.
• 특정 2-나무 내림 숲과 스패닝 트리의 총 가중치를 사용하여 MFPT에 대한 닫힌 형식의 표현식을 제공하는 것.
• 구체적인 계산 예시를 통한 이론적 프레임워크의 검증

제안 방법

• 마르코프 체인을 상태를 정점으로, 간선 가중치를 전이 확률로 하는 가중치가 부여된 방향 그래프 $ G $로 표현한다.
• $ f_{ij} $를 한 나무에 상태 $ i $가 포함되고 다른 나무가 상태 $ j $로 수렴하는 2-나무 내림 숲의 총 가중치로 정의한다.
• $ q_j $를 상태 $ j $로 수렴하는 그래프 $ G $의 스패닝 트리의 총 가중치로 정의한다.
• 행렬 숲 정리와 라플라스 행렬 $ L = I - T $의 군 역행렬을 사용하여 MFPT의 표현식을 유도한다.
• 항등식 $ m_{ij} = f_{ij}/q_j $를 $ i \neq j $에 대해 적용하며, $ m_{jj} = 1/\tilde{q}_j $로 정의한다. 여기서 $ \tilde{q}_j = q_j / \sum_k q_k $이다.
• 4개의 상태를 가진 수치 예시를 통해 $ f_{ij} $, $ q_j $, $ m_{ij} $를 내림 숲과 스패닝 트리에서 계산하여 결과를 검증한다.

실험 결과

연구 질문

• RQ1 에르고딕 마르코프 체인에서 평균 첫 번째 도착 시간은 관련된 가중치가 부여된 방향 그래프의 조합적 불변량을 통해 표현될 수 있는가?
• RQ2 상태 $ i $에서 상태 $ j $로의 MFPT에 대응하는 정확한 그래프 이론적 구조는 무엇인가?
• RQ3 2-나무 내림 숲과 스패닝 트리의 가중치는 MFPT 행렬과 어떻게 관련이 있는가?
• RQ4 내림 숲과 트리의 가중치를 기반으로 한 MFPT에 대한 닫힌 형식의 표현식이 존재하는가?
• RQ5 행렬 역행렬 계산 없이도 특정 내림 숲과 스패닝 트리의 총 가중치로부터 MFPT 행렬을 재구성할 수 있는가?

주요 결과

• $ i \neq j $일 때, 평균 첫 번째 도착 시간 $ m_{ij} $는 $ f_{ij}/q_j $의 비율과 같다. 여기서 $ f_{ij} $는 한 나무에 상태 $ i $가 포함되고 다른 나무가 상태 $ j $로 수렴하는 2-나무 내림 숲의 총 가중치이며, $ q_j $는 상태 $ j $로 수렴하는 스패닝 트리의 총 가중치이다.
• 대각성분 $ m_{jj} $는 $ 1/\tilde{q}_j $로 주어지며, $ \tilde{q}_j = q_j / \sum_{k=1}^n q_k $이고, $ q_j $는 상태 $ j $로 수렴하는 스패닝 트리의 총 가중치이다.
• 4개의 상태를 가진 예시에서 그래프 이론적 공식을 통해 계산한 MFPT 행렬 $ M $은 군 역행렬 공식으로 얻은 행렬과 일치한다: $ M = \left[\begin{smallmatrix}12.5&1&6&14.5\\11.5&2.5&5&13.5\\6.5&7.5&5&8.5\\10.5&11.5&4&3.125\end{smallmatrix}\right] $.
• 각 상태로 수렴하는 스패닝 트리의 총 가중치는 $ q = (0.02, 0.1, 0.05, 0.08) $이며, $ \tilde{q} = (0.08, 0.4, 0.2, 0.32) $로, 정적 분포 $ \pi $와 일치한다.
• $ f_{ij} $에 기여하는 2-나무 내림 숲은 명시적으로 열거되었으며, 그들의 총 가중치는 정확한 MFPT를 도출한다. 예를 들어 $ f_{14} = 1.16 $, $ f_{21} = 0.23 $ 등이다.
• 행렬 $ Q_k $를 사용한 재귀적 절차가 $ f_{ij} $와 $ q_j $를 성공적으로 계산하여 그래프 이론적 접근이 행렬 기반 방법과 일관됨을 확인한다.