[论文解读] Moments of Sums of Independent and Identically Distributed Random Variables

Daniel M. Packwood|arXiv (Cornell University)|May 31, 2011

Stochastic processes and statistical mechanics参考文献 7被引用 3

一句话总结

本论文提出了一种系统性的解析方法，用于计算独立同分布（i.i.d.）随机变量之和的矩，采用组合公式。该方法推导出 $ S_n = \sum_{i=1}^n X_i $ 的第 $ p $ 阶矩的显式表达式，从而为中心极限定理和广义大数定律提供了新证明，特别是表明在有限矩条件下，$ S_n/n \Rightarrow H_\mu $，即在 $ \mu $ 处的单位阶跃分布。

ABSTRACT

We present an analytic method for computing the moments of a sum of independent and identically distributed random variables. The limiting behavior of these sums is very important to statistical theory, and the moment expressions that we derive allow for it to be studied relatively easily. We show this by presenting a new proof of the central limit theorem and several other convergence results.

研究动机与目标

• 开发一种系统化方法，用于计算 i.i.d. 随机变量之和的矩，而现有方法中尚无闭式等式表达。
• 将矩公式应用于推导新的渐近结果，包括 $ S_n/n $ 收敛于单位阶跃分布。
• 对具有有限矩的 i.i.d. 序列，推广弱大数定律和强大数定律，尤其针对对称与非对称分布。
• 为归一化和的极限行为提供严格的分析基础，特别是 $ S_n/n $ 集中于 $ \mu $ 处点质量的性质。
• 展示基于矩的分析在证明经典极限定理（如中心极限定理）中的实用性，通过显式矩展开实现。

提出的方法

• 该方法使用组合计数，将第 $ p $ 阶矩 $ E(S_n^p) $ 表示为对所有 $ p $ 的整数分拆求和，其中每一项对应于 $ X $ 的矩的乘积。
• 矩展开中的每一项均乘以一个由分配指数至具有重复幂次的变量的方式数导出的多项式系数。
• 公式（2）中的系数 $ a_i $ 表示对应于给定幂次分拆的索引的唯一排列数，结合了乘数的阶乘和 $ n $ 的下降阶乘。
• 通过展开 $ E(S_n^p) $ 为所有索引组合的和，并按其矩结构分组，利用独立性和同分布性推导出该公式。
• 该方法系统处理所有满足总和为 $ p $ 的幂次组合 $ p_1, \dots, p_m $，其中包含 $ h $ 个不同值及重数 $ l_1, \dots, l_h $。
• 该方法确保所有矩有限当且仅当对所有 $ \alpha \leq p $，有 $ E(X^\alpha) < \infty $，从而保证表达式的收敛性。

实验结果

研究问题

• RQ1 能否开发一种通用且系统化的方法，用于计算 i.i.d. 随机变量之和的矩，超越现有不等式？
• RQ2 基于矩的方法是否允许对经典极限定理（如中心极限定理）进行新且直接的证明？
• RQ3 当基础分布为非对称时，$ S_n/n $ 的极限分布是什么，能否被精确刻画？
• RQ4 弱大数定律和强大数定律能否推广至高阶矩？在何种条件下成立？
• RQ5 在对称与非对称分布下，$ E(S_n^p/n^p) $ 的渐近行为有何差异？

主要发现

• 第 $ p $ 阶矩 $ S_n $ 由对所有 $ p $ 的整数分拆的有限和给出，系数由多项式与阶乘组合数学导出，如公式（1）和（2）所形式化。
• 对于三阶矩，公式给出 $ E(S_n^3) = nE(X^3) + 3n(n-1)E(X^2)E(X) + n(n-1)(n-2)E(X)^3 $，验证了组合结构。
• 当 $ n \to \infty $ 时，若 $ X $ 的所有阶次不超过 $ p $ 的矩均有限，则 $ E(S_n^p / n^p) \to \mu^p $ 对任意 $ p \geq 1 $ 成立。
• 归一化和 $ S_n/n $ 依分布收敛于单位阶跃分布 $ H_\mu $，其中 $ P(H_\mu < h) = 0 $ 当 $ h < \mu $，否则为 1。
• 广义弱大数定律成立：在有限矩条件下，对所有 $ \epsilon > 0 $，有 $ \lim_{n \to \infty} P(|S_n^p / n^p - \mu^p| > \epsilon) = 0 $。
• 对于均值为 0 的对称分布，广义强大数定律成立：$ S_n^p / n^p \to 0 $ 几乎必然，如通过 Borel-Cantelli 引理与矩衰减所证明。