[论文解读] The Gap Dimension and Uniform Laws of Large Numbers for Ergodic Processes

Terrence Adams, Andrew B. Nobel|arXiv (Cornell University)|Jul 17, 2010

Machine Learning and Algorithms参考文献 15被引用 6

一句话总结

本文建立了函数类的间隙维数——一种组合复杂度度量——与遍历采样下样本均值的一致收敛性之间的联系。证明了若一个一致有界的可数函数类在分辨率 γ 下的间隙维数有限，则其样本均值的渐近偏差对任意遍历过程至多为 10γ，从而在无需混合或光滑性条件的情况下确保了一致大数定律的行为。

ABSTRACT

Let F be a family of Borel measurable functions on a complete separable metric space. The gap (or fat-shattering) dimension of F is a combinatorial quantity that measures the extent to which functions f in F can separate finite sets of points at a predefined resolution gamma > 0. We establish a connection between the gap dimension of F and the uniform convergence of its sample averages under ergodic sampling. In particular, we show that if the gap dimension of F at resolution gamma > 0 is finite, then for every ergodic process the sample averages of functions in F are eventually within 10 gamma of their limiting expectations uniformly over the class F. If the gap dimension of F is finite for every resolution gamma > 0 then the sample averages of functions in F converge uniformly to their limiting expectations. We assume only that F is uniformly bounded and countable (or countably approximable). No smoothness conditions are placed on F, and no assumptions beyond ergodicity are placed on the sampling processes. Our results extend existing work for i.i.d. processes.

研究动机与目标

• 建立函数类的组合复杂度（以间隙维数衡量）与遍历采样下样本均值一致收敛性之间的联系。
• 将统一大数定律的结果从 i.i.d. 过程推广到一般的平稳遍历过程。
• 在不假设混合性、光滑性或 i.i.d. 采样条件的前提下，保持一致收敛性保证。
• 以分辨率 γ 下的间隙维数为依据，提供渐近偏差的精确数量界。
• 在最小结构假设下，将现有 i.i.d. 过程的结果推广至更广泛的遍历过程类。

提出的方法

• 引入分辨率 γ 下的间隙维数，作为衡量函数类 F 中函数能将有限点集分离到何种精细程度的度量。
• 利用 Kingman 的次可加遍历定理，将渐近偏差 Γ(F:X) 定义为样本均值与期望之间上确界偏差的几乎必然极限。
• 基于可测划分和二进制区间的结构，运用组合论证，将有限间隙维数与有界偏差联系起来。
• 采用测度论近似技术，通过可测同构和简单函数逼近，将不可数族简化为可数族。
• 利用有限间隙维数在分辨率 γ 下意味着不存在有限集能被 γ-破碎超过有界大小这一事实，从而限制样本均值的振荡。
• 使用反证法：若偏差超过 η，则在所有分辨率 γ ≤ η/10 下间隙维数必为无穷，由此导出主定理。

实验结果

研究问题

• RQ1 在何种条件下，函数类 F 的统一大数定律对遍历过程成立？
• RQ2 F 在分辨率 γ 下的间隙维数如何与遍历采样下其样本均值的渐近偏差相关？
• RQ3 是否可以在不假设 F 的混合性或光滑性条件下，保证遍历过程下的统一收敛性？
• RQ4 有限间隙维数与渐近偏差上界之间的精确数量关系为何？
• RQ5 若在任意分辨率 γ 下 F 均无有限间隙维数，是否意味着存在某个遍历过程使得统一收敛性不成立？

主要发现

• 若 F 在分辨率 γ 下的间隙维数有限，则 F 在任意遍历过程下的渐近偏差至多为 10γ。
• 若 F 对所有 γ > 0 的间隙维数均有限，则渐近偏差为零，意味着样本均值一致收敛于期望。
• 证明中常数 10 可通过微小修改改进为 4 + ε，其中 ε > 0 任意小。
• 结果在最小假设下成立：F 一致有界且可数（或可数逼近），过程仅为平稳且遍历。
• F 或采样过程无需光滑性或混合性条件。
• 证明技术可扩展至不可数族，通过可测逼近，同时保持关键的偏差界。