[论文解读] Asymptotic period of an aperiodic Markov chain

Erik A. van Doorn|arXiv (Cornell University)|Dec 29, 2017

Stochastic processes and statistical mechanics参考文献 9被引用 4

一句话总结

本文引入了可数状态空间上不可约、非周期性、离散时间马尔可夫链的渐近周期概念，形式化了在瞬态链中出现的循环行为。研究证明，非负整数上出生-死亡过程的渐近周期为 1、2 或 ∞，并给出了渐近非周期性（渐近周期 = 1）的充要条件——通过涉及转移概率的级数发散性来判定。

ABSTRACT

We introduce the concept of asymptotic period for an irreducible and aperiodic, discrete-time Markov chain X on a countable state space, and develop the theory leading to its formal definition. The asymptotic period of X equals one - its period - if X is recurrent, but may be larger than one if X is transient; X is asymptotically aperiodic if its asymptotic period equals one. Some sufficient conditions for asymptotic aperiodicity are presented. The asymptotic period of a birth-death process on the nonnegative integers is studied in detail and shown to be equal to 1, 2 or infinity. Criteria for the occurrence of each value in terms of the 1-step transition probabilities are established.

研究动机与目标

• 形式化具有状态空间分划中循环长期行为的瞬态、非周期性马尔可夫链的渐近周期概念。
• 基于一步转移概率导出的调和函数与递推关系，建立渐近周期性的理论框架。
• 分析非负整数上出生-死亡过程的渐近周期，确定其等于 1、2 或 ∞ 的条件。
• 以一步转移概率为依据，推导出生死过程渐近非周期性的必要与充分条件。
• 将渐近非周期性与强比值极限性质联系起来，特别是在出生-死亡过程的背景下。

提出的方法

• 将渐近周期定义为：瞬态链在状态空间的划分中渐近循环所经过的最大集合数。
• 利用调和函数理论及与转移矩阵相关的正交多项式 $ Q_n(x) $ 的递推关系，分析 $ P^2 $（两步转移矩阵）的结构。
• 应用 Karlin 和 McGregor 的正交多项式框架，推导出递推关系 $ xQ_n(x) = q_n Q_{n-1}(x) + r_n Q_n(x) + p_n Q_{n+1}(x) $，并给出初始条件。
• 引入序列 $ \bar{Q}_n(-1) = (-1)^n Q_n(-1) $，证明其单调递增且趋于 ∞ 当且仅当 $ \sum_{j=0}^\infty \frac{1}{p_j \pi_j} \sum_{k=0}^j r_k \pi_k = \infty $。
• 证明 $ \mathcal{X}^{(2)} $ 是简单的（即链是渐近非周期的）当且仅当 $ |Q_n(-1)| \to \infty $，这等价于前述条件中级数的发散性。
• 利用 $ P^2 $ 的有界调和函数与 $ |Q_n(-1)| $ 收敛性之间的等价性，将渐近周期与级数发散性联系起来。

实验结果

研究问题

• RQ1 周期性概念能否推广至在状态空间分划中表现出长期循环行为的瞬态、非周期性马尔可夫链？
• RQ2 非负整数上出生-死亡过程的渐近周期由什么决定？其值何时为 1、2 或 ∞？
• RQ3 出生-死亡过程渐近非周期性的必要与充分条件在一步转移概率上如何表达？
• RQ4 在出生-死亡过程的背景下，渐近非周期性与强比值极限性质有何关联？
• RQ5 序列 $ |Q_n(-1)| $ 在何种条件下发散？这与链的渐近周期性有何关系？

主要发现

• 不可约、非周期性、瞬态马尔可夫链的渐近周期可能大于 1，即使链本身是非周期的，这是由于其长期存在循环行为。
• 对于非负整数上的出生-死亡过程，其渐近周期为 1、2 或 ∞，具体取决于转移概率的结构。
• 当且仅当 $ \sum_{j=0}^\infty \frac{1}{p_j \pi_j} \sum_{k=0}^j r_k \pi_k = \infty $ 时，渐近周期为 1（即链是渐近非周期的），其中 $ \pi_j $ 为平稳测度。
• 渐近非周期性的充分条件为 $ \sum_{j=0}^\infty \frac{r_j}{p_j} = \infty $，该条件弱于更广泛设定下推论 5 的条件。
• 序列 $ \bar{Q}_n(-1) = (-1)^n Q_n(-1) $ 单调递增且趋于 ∞ 当且仅当关键级数发散，该性质刻画了渐近非周期性。
• $ P^2 $ 的有界调和函数有界性等价于 $ |Q_n(-1)| $ 的收敛性，因此 $ P^2 $ 不存在非平凡有界调和函数，意味着渐近非周期性。