[论文解读] A note on Rényi's "record" problem and Engel's series

Lulu Fang, Min Wu|arXiv (Cornell University)|Jul 11, 2016

Probability and Risk Models参考文献 10被引用 3

一句话总结

本文研究了威廉姆斯引入的两种马尔可夫过程——C-过程（与记录时间及修正的埃内尔级数相关）和A-过程（与标准埃内尔级数相关）的大偏差行为。尽管这两种过程共享经典极限定理，作者通过大偏差原理揭示其尾部行为存在差异：C-过程的速率函数为 $ I_C(x) = x - \log(x+1) $（$ x > -1 $），而A-过程的速率函数仅在 $ x > -1 + 1/a $ 时为 $ I_A(x) = x - \log(x+1) $，当 $ a=2 $ 时存在明显的线性段，揭示了罕见事件概率的根本差异。

ABSTRACT

In 1973, Williams introduced two interesting discrete Markov processes, namely $C$-processes and $A$-processes, which are related to record times in statistics and Engel's series in number theory respectively. Moreover, he showed that these two processes share the same classical limit theorems, such as the law of large numbers, central limit theorem and law of the iterated logarithm. In this paper, we consider the large deviations for these two Markov processes, which indicate that there is a difference between $C$-processes and $A$-processes in the context of large deviations.

研究动机与目标

• 分析C-过程与A-过程的大偏差行为，这些过程已知共享经典极限定理，如大数定律与中心极限定理。
• 识别尽管具有相同的渐近行为，这两种过程在大偏差原理下是否表现出不同的罕见事件行为。
• 阐明A-过程中初始条件的作用及其对大偏差速率函数的影响，与C-过程形成对比。
• 利用Gärtner-Ellis定理与矩生成函数分析，确定两种过程的精确良好速率函数形式。

提出的方法

• 推导 $ \Lambda_C(\theta) $（即 $ \log C_n $ 的矩生成函数），并应用Gärtner-Ellis定理，建立 $ \{ (\log C_n - n)/n \} $ 的大偏差原理（LDP）。
• 利用 $ C_n = [C_{n-1} \exp(W_n)] + 1 $ 的表示形式，其中 $ W_n $ 为独立同分布的指数分布随机变量，对C-过程建模并分析其对数增长。
• 通过 $ A_n = [a_{n-1} \exp(W_n)] + 1 $ 分析A-过程，其中 $ a_n $ 为非递减序列，并推导其矩生成函数 $ \Lambda_A(\theta) $。
• 计算 $ \Lambda_A(\theta) $ 的Legendre变换，得到依赖于初始值 $ A_0 = a $ 的速率函数 $ I_A(x) $，并证明当 $ a \to \infty $ 时 $ I_A(x) \to I_C(x) $。
• 比较速率函数 $ I_C(x) $ 与 $ I_A(x) $，证明对所有 $ x \in \mathbb{R} $ 有 $ I_C(x) \geq I_A(x) $，且在区间 $ [-1, -1/2) $ 上严格不等式成立。
• 利用 $ \mathbb{P}(A_n = 2) = 2^{-n} $ 推导大偏差速率的下界，表明 $ I_A(-1) \leq \log 2 $，而这对C-过程不可能成立。

实验结果

研究问题

• RQ1 尽管C-过程与A-过程共享经典极限定理，它们是否表现出相同的大偏差行为？
• RQ2 C-过程的大偏差速率函数的确切形式是什么？其与A-过程的速率函数相比如何？
• RQ3 为何初始值 $ A_0 = a $ 会影响A-过程的速率函数，而不会影响C-过程的速率函数？
• RQ4 A-过程速率函数中出现 $ \log 2 $ 的原因是什么？这如何从过程结构中体现？
• RQ5 导致 $ (\log C_n)/n $ 与 $ (\log A_n)/n $ 偏离其均值的尾部概率差异的根本原因是什么？

主要发现

• 序列 $ \{ (\log C_n - n)/n \} $ 满足大偏差原理，其良好速率函数为 $ I_C(x) = x - \log(x+1) $（$ x > -1 $），其余情况为 $ +\infty $。
• 序列 $ \{ (\log A_n - n)/n \} $ 满足大偏差原理，其速率函数为 $ I_A(x) = x - \log(x+1) $（$ x > -1 + 1/a $），在区间 $ -1 \leq x \leq -1 + 1/a $ 上具有线性段 $ (1-a)(x+1) + \log a $，其中 $ a = A_0 \geq 2 $。
• 当 $ a = 2 $ 时，$ I_A(x) $ 在 $ [-1, -0.5] $ 上具有明显的线性分量，而 $ I_C(x) $ 严格凸且无此类线性段。
• 对所有 $ x \in \mathbb{R} $，有 $ I_C(x) \geq I_A(x) $，且在区间 $ [-1, -1/2) $ 上严格不等式成立，表明 $ C_n $ 偏离其均值的概率低于 $ A_n $。
• $ \mathbb{P}(A_n = 2) = 2^{-n} $ 暗示 $ \limsup_{n \to \infty} \frac{1}{n} \log \mathbb{P}\left( \frac{\log A_n - n}{n} \leq x \right) \geq -\log 2 $，这导致了 $ I_A(x) $ 中非平凡线性部分的形成。
• 当初始值 $ a \to \infty $ 时，速率函数 $ I_{A,a}(x) \to I_C(x) $，表明A-过程在初始值趋于无穷时收敛于C-过程的行为。