[论文解读] Limit theorems for invariant distributions

Morgane Austern, Peter Orbanz|arXiv (Cornell University)|Jun 27, 2018

Bayesian Methods and Mixture Models参考文献 35被引用 3

一句话总结

本文通过遍历理论与Stein方法，建立了基于变换群平均的不变分布估计量的中心极限定理、Berry-Esseen界及集中不等式。证明了在混合与群增长条件下，一大类过程的经验熵的渐近正态性。

ABSTRACT

A distributional symmetry is invariance of a distribution under a group of transformations. Exchangeability and stationarity are examples. We explain that a result of ergodic theory provides a law of large numbers: If the group satisfies suitable conditions, expectations can be estimated by averaging over subsets of transformations, and these estimators are strongly consistent. We show that, if a mixing condition holds, the averages also satisfy a central limit theorem, a Berry-Esseen bound, and concentration. These are extended further to apply to triangular arrays, to randomly subsampled averages, and to a generalization of U-statistics. As applications, we obtain new results on exchangeability, random fields, network models, and a class of marked point processes. We also establish asymptotic normality of the empirical entropy for a large class of processes. Some known results are recovered as special cases, and can hence be interpreted as an outcome of symmetry. The proofs adapt Stein's method.

研究动机与目标

• 开发一个一般框架，用于在群不变分布下对期望进行一致估计。
• 为基于群平均的估计量建立中心极限定理与Berry-Esseen界。
• 将结果推广至三角阵列、随机子采样平均及广义U统计量。
• 在混合与群增长条件下，证明不变过程中经验熵的渐近正态性。
• 通过对称性统一并推广可交换性、随机场、网络模型与点过程中的已知结果。

提出的方法

• 以Lindenstrauss的逐点遍历定理为基础，证明群平均估计量的强一致性。
• 应用Stein方法，推导群平均泛函的Berry-Esseen界与集中不等式。
• 引入一种基于群元素k元组的系数α(t,k)定义的混合条件，以控制依赖性。
• 利用群上的左不变全序定义预测依赖性，并控制熵估计中的近似误差。
• 使用温和的Følner序列，确保在扩张子集上群平均的渐近等价性。
• 将渐近方差η²表示为不同群元素处预测对数似然之间的协方差之和。

实验结果

研究问题

• RQ1 在何种条件下，对于不变分布，群平均估计量Fn(f,X)是渐近正态的？
• RQ2 如何利用Stein方法为不变估计量推导Berry-Esseen界？
• RQ3 何种混合条件可确保不变过程中经验熵的渐近正态性？
• RQ4 群结构的选择（如多项式增长、无挠）如何影响估计量的收敛性质？
• RQ5 已知的可交换性与网络模型结果能否作为该一般框架的特例被恢复？

主要发现

• 在G-不变性与温和Følner序列条件下，群平均估计量Fn(f,X)是强一致的。
• 在涉及α(t,k)的混合条件与群的增长条件成立下，Fn(f,X)满足中心极限定理。
• 建立了依赖于混合系数与群增长的Berry-Esseen界。
• 在ρm的可 summability 条件与α(i−m,|Bm|)条件下，证明了经验熵hn(λ,X)的渐近正态性。
• 渐近方差η²被表示为预测对数似然之间协方差之和，在左不变性下与顺序选择无关。
• 该框架可作为可交换性、随机场与网络模型中已知结果的特例被恢复。