[논문 리뷰] A Generalized Fundamental Matrix for Computing Fundamental Quantities of Markov Systems

Li Xia, Peter W. Glynn|arXiv (Cornell University)|2016. 04. 15.

Formal Methods in Verification참고 문헌 10인용 수 5

한 줄 요약

이 논문은 정적 분포 $\bm{\pi}$ 를 사전에 계산할 필요 없이 성능 잠재력 $\bm{g}$, 정적 분포 $\bm{\pi}$, Q-요소를 직접 계산할 수 있도록 하는 일반화된 기본 행렬 $(\mathbf{I} - \mathbf{P} + \mathbf{e}\mathbf{r})^{-1}$ 을 제안한다. 주요 기여는 $\mathbf{r}\mathbf{e} \neq 0$ 를 만족하는 임의의 행 벡터 $\mathbf{r}$ 를 사용하여 마르코프 시스템의 기본 양을 통합된 프레임워크로 계산하는 것이다. 이는 성능 분석과 최적화를 단순화한다.

ABSTRACT

As is well known, the fundamental matrix $(I - P + e π)^{-1}$ plays an important role in the performance analysis of Markov systems, where $P$ is the transition probability matrix, $e$ is the column vector of ones, and $π$ is the row vector of the steady state distribution. It is used to compute the performance potential (relative value function) of Markov decision processes under the average criterion, such as $g=(I - P + e π)^{-1} f$ where $g$ is the column vector of performance potentials and $f$ is the column vector of reward functions. However, we need to pre-compute $π$ before we can compute $(I - P + e π)^{-1}$. In this paper, we derive a generalization version of the fundamental matrix as $(I - P + e r)^{-1}$, where $r$ can be any given row vector satisfying $r e eq 0$. With this generalized fundamental matrix, we can compute $g=(I - P + e r)^{-1} f$. The steady state distribution is computed as $π= r(I - P + e r)^{-1}$. The Q-factors at every state-action pair can also be computed in a similar way. These formulas may give some insights on further understanding how to efficiently compute or estimate the values of $g$, $π$, and Q-factors in Markov systems, which are fundamental quantities for the performance optimization of Markov systems.

연구 동기 및 목표

• 표준 기본 행렬이 정적 분포 $\bm{\pi}$ 를 사전에 계산해야 하는 계산적 병목 현상을 해결하기 위해.
• 정적 분포 $\bm{\pi}$ 를 대체할 수 있는 $\mathbf{r}\mathbf{e} \neq 0$ 를 만족하는 임의의 행 벡터 $\mathbf{r}$ 를 사용하는 일반화된 프레임워크를 개발하기 위해.
• 일반화된 행렬 형태를 사용하여 성능 잠재력 $\bm{g}$, 정적 분포 $\bm{\pi}$, Q-요소에 대한 닫힌 형태의 해를 제공하기 위해.
• MDP 및 강화 학습에서 핵심 성능 지표의 효율적 수치 계산 및 온라인 추정에 대한 새로운 통찰을 제공하기 위해.

제안 방법

• 임의의 행 벡터 $\mathbf{r}$ 에 대해 $\mathbf{r}\mathbf{e} \neq 0$ 를 만족하는 일반화된 기본 행렬 $\mathbf{Z}_r = (\mathbf{I} - \mathbf{P} + \mathbf{e}\mathbf{r})^{-1}$ 를 제안하여 고전적 수식에서 $\bm{\pi}$ 가 필요 없도록 한다.
• 성능 잠재력을 $\bm{g} = (\mathbf{I} - \mathbf{P} + \mathbf{e}\mathbf{r})^{-1}\bm{f}$ 로 유도하여 $\bm{\pi}$ 를 사전에 알 필요 없이 직접 계산할 수 있도록 한다.
• 정적 분포에 대한 닫힌 형태의 표현식으로 $\bm{\pi^T} = \mathbf{r}(\mathbf{I} - \mathbf{P} + \mathbf{e}\mathbf{r})^{-1}$ 를 설정한다.
• 동일한 프레임워크를 Q-요소에 적용하기 위해 상태-행동 전이 행렬 $\bm{\tilde{P}} = \bm{P}\bm{L}$ 을 구성하고, $\bm{Q}^\mathcal{L} = (\mathbf{I} - \bm{\tilde{P}} + \mathbf{e}\mathbf{r})^{-1}\bm{f}$ 를 도출한다.
• $\mathbf{r}\mathbf{e} \neq 0$ 를 만족하는 임의의 $\mathbf{r}$ 에 대해 $\mathbf{I} - \bm{\tilde{P}} + \mathbf{e}\mathbf{r}$ 가 가역적임을 이용하여 해의 존재를 보장한다.
• 해는 상수 이동에 대해 유일하지만, $\mathbf{r}\bm{Q}^\mathcal{L} = \eta$ 라는 제약 조건을 통해 유일성을 강제한다.

실험 결과

연구 질문

• RQ1 마르코프 시스템에서 정적 분포 $\bm{\pi}$ 를 사전 계산하지 않기 위해 기본 행렬을 일반화할 수 있는가?
• RQ2 성능 잠재력을 계산하기 위해 $\mathbf{I} - \mathbf{P} + \mathbf{e}\mathbf{r}$ 가 가역적이 되도록 하는 $\mathbf{r}$ 에 대한 조건은 무엇인가?
• RQ3 일반화된 기본 행렬을 사용하여 성능 잠재력, 정적 분포, Q-요소에 대한 닫힌 형태의 표현식을 유도할 수 있는가?
• RQ4 일반화된 프레임워크는 MDP 성능 지표에 대한 효율적 수치 또는 온라인 추정 알고리즘을 지원할 수 있는가?
• RQ5 일반화된 수식은 고전적 기본 행렬의 구조적 성질을 유지하면서 더 넓은 적용 가능성을 제공하는가?

주요 결과

• 임의의 행 벡터 $\mathbf{r}$ 에 대해 $\mathbf{r}\mathbf{e} \neq 0$ 를 만족하는 경우 일반화된 기본 행렬 $\mathbf{Z}_r = (\mathbf{I} - \mathbf{P} + \mathbf{e}\mathbf{r})^{-1}$ 는 항상 가역적이며, 잘 정의된 해를 보장한다.
• 성능 잠재력은 $\bm{g} = (\mathbf{I} - \mathbf{P} + \mathbf{e}\mathbf{r})^{-1}\bm{f}$ 로 계산되며, 이는 $\bm{\pi}$ 를 사전에 계산할 필요 없이 해결할 수 있다.
• 정적 분포는 $\bm{\pi} = \mathbf{r}(\mathbf{I} - \mathbf{P} + \mathbf{e}\mathbf{r})^{-1}$ 로 복구되며, 이는 $\bm{\pi}\mathbf{P} = \bm{\pi}$ 를 풀지 않고도 직접적인 공식을 제공한다.
• Q-요소는 $\bm{Q}^\mathcal{L^T} = (\mathbf{I} - \bm{\tilde{P}} + \mathbf{e}\mathbf{r})^{-1}\bm{f}$ 로 표현되며, 여기서 $\bm{\tilde{P}} = \bm{P}\bm{L}$ 이다. 이는 상태-행동 공간에서 포아송 방정식의 해를 가능하게 한다.
• Q-요소의 해는 상수 이동에 대해 유일하며, 제약 조건 $\mathbf{r}\bm{Q}^\mathcal{L} = \eta$ 를 통해 유일성이 보장되어 일관성을 확보한다.
• 이 프레임워크는 마르코프 시스템의 기본 양을 통합적이고 닫힌 형태로 계산할 수 있는 방법을 제공하며, 강화 학습 및 성능 최적화에서 효율적인 계산과 추정을 위한 새로운 길을 열어준다.