[논문 리뷰] Limit formulas for the normalized fundamental matrix of the northwest-corner truncation of Markov chains: Matrix-infinite-product-form solutions of block-Hessenberg Markov chains

Hiroyuki Masuyama|arXiv (Cornell University)|2016. 03. 25.

Advanced Queuing Theory Analysis인용 수 7

한 줄 요약

이 논문은 연속시간 마르코프 체인의 북서쪽 모서리 절단(normalized fundamental matrix)에 대한 극한 공식을 수립하여, 정규화된 기본행렬이 에르고딕성과 드리프트 조건 하에서 동일한 행을 갖는 행렬로 수렴함을 보이며, 이 행렬의 각 행은 정적분포 벡터와 일치함을 밝혀낸다. 주요 기여는 이러한 극한 공식을 활용하여 상부 및 하부 블록 허센버그 마르코프 체인의 정적분포에 대해 행렬 무한곱(MIP) 형태를 도출하는 데 있다.

ABSTRACT

This paper considers the normalized fundamental matrix for the northwest-corner (NW-corner) truncation of ergodic continuous-time Markov chains, technically, of their infinitesimal generators. We first present a limit formula for the normalized fundamental matrix of the NW-corner truncation of the ergodic (infinitesimal) generator. The limit formula shows that, as the order (size) of the NW-corner truncation diverges to infinity, the corresponding normalized fundamental matrix converges to a stochastic matrix whose rows are all equal to the stationary distribution vector of the ergodic generator. Using the limit formula, we also derive the matrix-infinite-product form (MIP-form) solutions of the stationary distribution vectors of upper and lower block-Hessenberg Markov chains. In addition, from the MIP-form solutions, we develop numerically stable and easily implementable algorithms that generate the sequences of probability vectors convergent to the corresponding stationary distribution vectors of block-Hessenberg Markov chains.

연구 동기 및 목표

• 에르고딕성과 연속시간 마르코프 체인의 무한소 생성자에서 유도된 북서쪽 모서리 절단의 정규화된 기본행렬의 점근적 행동을 분석한다.
• 정규화된 기본행렬이 동일한 행을 갖는 행렬로 수렴할 수 있는 충분한 조건을 확립한다.
• 극한 공식을 활용하여 상부 및 하부 블록 허센버그 마르코프 체인의 정적분포 벡터에 대한 행렬 무한곱(MIP) 형태를 도출한다.
• 절단된 시스템의 수렴성을 통해 수준 의존성 M/G/1-형 및 GI/M/1-형 과정의 정적분포를 계산하는 계산 프레임워크를 제공한다.

제안 방법

• 대각선 정규화를 사용하여 북서쪽 모서리 절단 생성자의 역행렬의 행확률 행렬로 정규화된 기본행렬을 정의한다.
• 절단 크기가 증가함에 따라 정규화된 기본행렬이 모든 행이 정적분포 벡터 π와 동일한 행렬로 수렴함을 보여주는 극한 공식을 수립한다.
• 정규화된 기본행렬이 정적분포로 수렴함을 보장하기 위해 포스터-리아푸노프 드리프트 조건을 적용한다.
• 상부 및 하부 블록 허센버그 구조에서 정규화된 기본행렬의 극한 행동을 활용하여 정적분포의 행렬 무한곱 형태를 유도한다.
• 상부 및 하부 블록 허센버그 체인 간의 이중성을 활용하여 상부 유형 알고리즘을 기반으로 하부 유형 체인에 대한 MIP 해법을 확장한다.
• 수렴하는 부분벡터의 반복 수열을 구성하여 전체 정적분포 벡터 π를 수치적으로 계산할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 에르고딕성과 연속시간 마르코프 체인의 북서쪽 모서리 절단에서 유도된 정규화된 기본행렬은 동일한 행이 정적분포 벡터 π인 행렬로 수렴하는가?
• RQ2 절단 크기가 증가함에 따라 정규화된 기본행렬이 정적분포로 수렴하기 위한 조건은 무엇인가?
• RQ3 극한 공식을 활용하여 상부 및 하부 블록 허센버그 마르코프 체인의 정적분포에 대한 행렬 무한곱(MIP) 형태를 도출할 수 있는가?
• RQ4 수준 의존성 M/G/1-형 및 GI/M/1-형 과정 간의 이중성을 어떻게 활용하여 정규화된 기본행렬의 극한을 통해 정적분포를 계산할 수 있는가?

주요 결과

• 북서쪽 모서리 절단의 정규화된 기본행렬은 절단 크기 n이 무한대에 접근함에 따라 포스터-리아푸노프 드리프트 조건 하에서 모든 행이 정적분포 벡터 π와 동일한 행렬로 수렴한다.
• 극한 공식을 통해 상부 블록 허센버그 마르코프 체인(즉, 수준 의존성 M/G/1-형 과정)의 정적분포 벡터에 대한 행렬 무한곱(MIP) 형태를 도출할 수 있다.
• 하부 블록 허센버그 마르코프 체인(즉, 수준 의존성 GI/M/1-형 과정)의 경우, 이중성과 상부 유형 해법 기반의 반복 알고리즘을 통해 MIP 형태를 확보할 수 있다.
• 무한차원 생성자일 경우에도 유한한 절단의 극한을 고려함으로써 정규화된 기본행렬이 π로 수렴함을 입증할 수 있다.
• 부분벡터의 반복 수열을 통해 수렴하는 안정적인 알고리즘을 제공함으로써, 블록 허센버그 체인의 정적분포 벡터를 수치적으로 계산할 수 있다.