[论文解读] A Generalized Fundamental Matrix for Computing Fundamental Quantities of Markov Systems

Li Xia, Peter W. Glynn|arXiv (Cornell University)|Apr 15, 2016

Formal Methods in Verification参考文献 10被引用 5

一句话总结

本文提出了一种广义的基本矩阵 $(\mathbf{I} - \mathbf{P} + \mathbf{e}\mathbf{r})^{-1}$，消除了预先计算稳态分布 $\bm{\pi}$ 的需求，实现了性能势 $\bm{g}$、稳态分布 $\bm{\pi}$ 和 Q-因子的直接计算，且无需预处理。其核心贡献是提出了一种统一框架，利用任意满足 $\mathbf{r}\mathbf{e} \neq 0$ 的行向量 $\mathbf{r}$ 计算马尔可夫系统中的基本量，简化了性能分析与优化。

ABSTRACT

As is well known, the fundamental matrix $(I - P + e π)^{-1}$ plays an important role in the performance analysis of Markov systems, where $P$ is the transition probability matrix, $e$ is the column vector of ones, and $π$ is the row vector of the steady state distribution. It is used to compute the performance potential (relative value function) of Markov decision processes under the average criterion, such as $g=(I - P + e π)^{-1} f$ where $g$ is the column vector of performance potentials and $f$ is the column vector of reward functions. However, we need to pre-compute $π$ before we can compute $(I - P + e π)^{-1}$. In this paper, we derive a generalization version of the fundamental matrix as $(I - P + e r)^{-1}$, where $r$ can be any given row vector satisfying $r e eq 0$. With this generalized fundamental matrix, we can compute $g=(I - P + e r)^{-1} f$. The steady state distribution is computed as $π= r(I - P + e r)^{-1}$. The Q-factors at every state-action pair can also be computed in a similar way. These formulas may give some insights on further understanding how to efficiently compute or estimate the values of $g$, $π$, and Q-factors in Markov systems, which are fundamental quantities for the performance optimization of Markov systems.

研究动机与目标

• 解决马尔可夫决策过程中的计算瓶颈问题，即标准基本矩阵需要预先计算稳态分布 $\bm{\pi}$。
• 开发一种广义框架，用任意满足 $\mathbf{r}\mathbf{e} \neq 0$ 的行向量 $\mathbf{r}$ 替代 $\bm{\pi}$，从而简化基本量的计算。
• 利用广义矩阵形式，为性能势 $\bm{g}$、稳态分布 $\bm{\pi}$ 和 Q-因子提供闭式解。
• 为 MDP 和强化学习中关键性能指标的高效数值计算与在线估计提供新见解。

提出的方法

• 提出广义基本矩阵 $\mathbf{Z}_r = (\mathbf{I} - \mathbf{P} + \mathbf{e}\mathbf{r})^{-1}$，其中 $\mathbf{r}$ 为任意满足 $\mathbf{r}\mathbf{e} \neq 0$ 的行向量，替代经典公式中对 $\bm{\pi}$ 的依赖。
• 推导出性能势的表达式为 $\bm{g} = (\mathbf{I} - \mathbf{P} + \mathbf{e}\mathbf{r})^{-1}\bm{f}$，实现无需事先掌握 $\bm{\pi}$ 的直接计算。
• 建立 $\bm{\pi} = \mathbf{r}(\mathbf{I} - \mathbf{P} + \mathbf{e}\mathbf{r})^{-1}$ 作为稳态分布的闭式表达式，利用广义矩阵实现直接计算，无需求解 $\bm{\pi}\mathbf{P} = \bm{\pi}$。
• 通过构建状态-动作转移矩阵 $\bm{\tilde{P}} = \bm{P}\bm{L}$，将相同框架应用于 Q-因子，得到 $\bm{Q}^\mathcal{L} = (\mathbf{I} - \bm{\tilde{P}} + \mathbf{e}\mathbf{r})^{-1}\bm{f}$。
• 利用 $\mathbf{I} - \bm{\tilde{P}} + \mathbf{e}\mathbf{r}$ 对任意满足 $\mathbf{r}\mathbf{e} \neq 0$ 的 $\mathbf{r}$ 可逆的性质，确保解的存在性。
• 证明解在常数平移意义下唯一，并通过约束 $\mathbf{r}\bm{Q}^\mathcal{L^} = \eta$ 强制唯一性。

实验结果

研究问题

• RQ1 能否将基本矩阵广义化，以避免在马尔可夫系统中预先计算稳态分布 $\bm{\pi}$？
• RQ2 向量 $\mathbf{r}$ 需满足何种条件，才能保证 $\mathbf{I} - \mathbf{P} + \mathbf{e}\mathbf{r}$ 可逆，从而用于性能势的计算？
• RQ3 如何利用广义基本矩阵推导出性能势、稳态分布和 Q-因子的闭式表达式？
• RQ4 广义框架能否支持 MDP 性能指标的高效数值或在线估计算法？
• RQ5 广义公式是否在保持经典基本矩阵结构特性的同时，实现更广泛的应用？

主要发现

• 广义基本矩阵 $\mathbf{Z}_r = (\mathbf{I} - \mathbf{P} + \mathbf{e}\mathbf{r})^{-1}$ 对任意满足 $\mathbf{r}\mathbf{e} \neq 0$ 的行向量 $\mathbf{r}$ 均可逆，确保了解的良定义性。
• 性能势通过 $\bm{g} = (\mathbf{I} - \mathbf{P} + \mathbf{e}\mathbf{r})^{-1}\bm{f}$ 计算，无需预先计算 $\bm{\pi}$。
• 稳态分布通过 $\bm{\pi} = \mathbf{r}(\mathbf{I} - \mathbf{P} + \mathbf{e}\mathbf{r})^{-1}$ 恢复，提供了无需求解 $\bm{\pi}\mathbf{P} = \bm{\pi}$ 的直接公式。
• Q-因子表示为 $\bm{Q}^\mathcal{L} = (\mathbf{I} - \bm{\tilde{P}} + \mathbf{e}\mathbf{r})^{-1}\bm{f}$，其中 $\bm{\tilde{P}} = \bm{P}\bm{L}$，实现了在状态-动作空间中求解泊松方程。
• Q-因子的解在常数平移意义下唯一，且通过约束 $\mathbf{r}\bm{Q}^\mathcal{L} = \eta$ 强制唯一性，确保一致性。
• 该框架为马尔可夫系统中基本量的计算提供了统一且闭式的途径，为强化学习与性能优化中的高效计算与估计开辟了新路径。