[논문 리뷰] Markov Chain Decomposition Based On Total Expectation Theorem

Katsunobu Sasanuma, Robert C. Hampshire외 1명|arXiv (Cornell University)|2019. 01. 21.

Advanced Queuing Theory Analysis참고 문헌 5인용 수 5

한 줄 요약

이 논문은 전체 기대값 정리에 기반한 새로운 마르코프 체인 분해 방법을 제안하며, 제약이 있는 분리성이나 복잡한 정규화 없이도 민첩하고 겹치는 부분이 있는 하위체인 분해를 가능하게 한다. 경계 상태에서 국소 유량 보존을 보장하는 종료 기법을 통해 하위체인 기대값의 선형 집계를 허용함으로써 성능 분석을 단순화하고, 혼잡도 기반 스태프링 큐 및 마르코프-모odulated 큐와 같은 복잡한 모델에 정확한 분석적 해를 제공한다.

ABSTRACT

A divide-and-conquer approach to analyzing Markov chains (MCs) is not utilized as widely as it could be, despite its potential benefits. One primary reason for this is the fact that most MC decomposition approaches involve a complex and inflexible methodology: decomposed subchains must be disjoint, transition rates of these decomposed subchains must be altered in a way tailored to the particular MC model, and the procedure to aggregate suchains needs to incorporate a nonlinear normalization constraint, complicating the analytical expression of performance measures. In contrast, we propose a versatile yet simple decomposition method for continuous time MCs based on the total expectation theorem. Leveraging the properties of this theorem, our method has great flexibility in the choice of subchains, and the procedure to obtain expected values of interest is simply a linear summation of subchains' properties, which is not affected by the normalization constraint. We prove that to maintain the correct distribution of decomposed subchains one may use our novel termination scheme, a modification of transition rates, that ensures partial flow conservation at boundary states. This termination scheme is applicable to MCs with any structure, since the scheme depends only on the boundary-state distribution, not on the structure of the MCs. To demonstrate the generality and capability of our method, we analytically solve various models, such as a congestion-based staffing queue and a Markov-modulated Mt/Mt/1 queue. As not all systems admit an analytical solution, we complement this analysis with numerical studies of MCs with various sizes using the algorithm based on our method.

연구 동기 및 목표

• 기존 마르코프 체인 분해 방법의 한계를 해결하기 위해, 분리된 하위체인과 복잡한 정규화 절차를 요구하는 방법을 개선한다.
• 분리성 없이도 겹치는 또는 포함된 하위체인을 허용하는 민첩한 분해 프레임워크를 개발한다.
• 비선형 정규화 제약을 제거함으로써 성능 측정치 집계를 단순화하기 위해 하위체인 성질의 선형 조합을 활용한다.
• 경계 상태에서 국소 유량 보존에 기반한 새로운 종료 기법을 통해 하위체인 정적 분포의 보존을 확보한다.
• 이 방법의 일반성과 분석적 능력을 혼잡도 기반 스태프링 큐 및 마르코프-모듈레이티드 큐와 같은 복잡한 큐잉 모델에 대해 정확한 해를 제공함으로써 입증한다.

제안 방법

• 이 방법은 전체 마르코프 체인에서 함수의 기대값을 하위체인 기대값의 선형 조합으로 표현하기 위해 전체 기대값 정리(반복 기대값 법칙)를 활용한다.
• 정규화를 처리하기 위해 기준 상태 파라미터를 도입하며, 분석의 마지막에 기대값의 인수를 1로 설정함으로써 이를 해결한다.
• 경계 상태에서 전이 비율을 수정하는 새로운 종료 기법을 도입하여 국소 유량 보존을 유지함으로써 하위체인 정적 분포가 그대로 유지되도록 한다.
• 이 방법은 안정 상태 분포가 하위체인의 모든 경계 상태에서 순유입/유출이 보존될 경우에 보존된다는 핵심 통찰을 활용한다.
• 전체 상태 공간에서 하위체인 분포를 일관되게 비교할 수 있도록 일반화된 확률 측도 π(k)j를 정의한다.
• 이 방법은 연속 시간 마르코프 체인의 모든 구조에 적용 가능하며, 종료 기법이 전역 위상 구조에 의존하지 않고 경계 상태 분포에만 의존하기 때문이다.

실험 결과

연구 질문

• RQ1 겹치는 또는 포함된 하위체인을 허용하면서도 분석적 단순성을 유지하는 마르코프 체인 분해 방법을 개발할 수 있는가?
• RQ2 기존 분해 방법에서 발생하는 정규화 제약을 어떻게 제거하여 성능 측정치 집계를 단순화할 수 있는가?
• RQ3 하위체인의 정적 분포가 원래 전체 체인과 일치하는 데 필요한 조건은 무엇인가?
• RQ4 모든 체인 구조에 관계없이 경계 상태에서 국소 유량 보존을 유지하는 일반적인 종료 기법을 설계할 수 있는가?
• RQ5 이 방법이 복잡한 큐잉 시스템에 대해 얼마나 정확한 분석적 해를 제공할 수 있는가?

주요 결과

• 제안된 방법은 혼잡도 기반 스태프링 큐 및 마르코프-모듈레이티드 M_t/M_t/1 큐와 같은 복잡한 모델에 대해 정확한 분석적 해를 제공한다.
• 이 방법은 이전 접근 방식에서 흔히 볼 수 있는 비선형 정규화 제약을 피하면서도 하위체인 기대값의 선형 집계를 달성한다.
• 종료 기법은 경계 상태에서 순유량을 보존함으로써 하위체인 분포의 보존을 보장하며, 모든 마르코프 체인 구조에 일반적으로 적용 가능하다.
• 겹침 또는 포함 관계가 있는 하위체인이라도 국소 유량 보존을 강제함으로써 하위체인의 정확한 정적 분포를 유지한다.
• 하나의 기준 상태 파라미터로부터 유도된 가중치를 사용하여 성능 측정치의 계산을 하위체인 기대값의 가중합으로 단순화한다.
• 수치적 연구 결과는 이 방법이 대규모 마르코프 체인에서 효과적임을 확인하였으며, 확장성과 정확성을 입증한다.