[论文解读] Estimating beta-mixing coefficients.

Daniel J. McDonald, Cosma Rohilla Shalizi+1 more|PubMed|Mar 4, 2011

Statistical Methods and Inference参考文献 14被引用 7

一句话总结

本文提出了首个基于单一样本路径的平稳时间序列中 $β$-混合系数的一致估计量。该方法采用基于直方图的密度估计，并证明了 $L_1$-风险一致性，使得此前因需已知混合率而无法应用的现有学习理论结果得以实际使用。

ABSTRACT

The literature on statistical learning for time series assumes the asymptotic independence or "mixing" of the data-generating process. These mixing assumptions are never tested, and there are no methods for estimating mixing rates from data. We give an estimator for the beta-mixing rate based on a single stationary sample path and show it is L1-risk consistent.

研究动机与目标

• 为解决从数据中估计 $β$-混合系数的方法缺失问题，这是依赖性时间序列统计学习中的关键空白。
• 使此前因假设已知 $β$-混合率而无法使用、但现有学习理论结果得以实际应用。
• 在一般平稳过程下，开发无需参数假设的 $β$-混合系数一致估计量。
• 建立所提估计量的理论一致性与收敛速率，特别是针对马尔可夫近似的情形。

提出的方法

• 基于单一样本路径中联合分布与边缘分布的直方图密度估计，提出一种估计量。
• 利用联合分布与边缘分布乘积之间的总变差距离来定义 $β$-混合系数估计量。
• 应用双重渐近结果，确保当样本量 $n$ 与箱数 $d_n$ 以适当方式增长时的一致性。
• 采用与数据相关的分箱方案，其中 $d_n = O(\exp\{W(\log n)\})$，以在密度估计中平衡偏差与方差。
• 通过证明经验估计量 $\hat{\beta}^{d_n}(a)$ 沿中间近似 $\beta^{d_n}(a)$ 收敛至真实值 $\beta(a)$，建立一致性。
• 依赖于直方图估计量在 $β$-混合依赖下的 $L_1$ 收敛理论结果，扩展了先前在密度估计方面的工作。

实验结果

研究问题

• RQ1 能否从单一样本路径中一致估计 $β$-混合系数？
• RQ2 数据生成过程需满足何种条件，才能保证所提估计量的 $L_1$-风险一致性？
• RQ3 估计量的表现如何依赖于分箱方案与样本量的选择？
• RQ4 该估计量能否使此前因不可用而无法应用的学习理论结果在实践中得以实现？
• RQ5 估计量的理论收敛速率如何？其与 $\beta(a)$ 尾部行为的关系为何？

主要发现

• 在一般平稳过程中，所提估计量 $\hat{\beta}^{d_n}(a)$ 对真实 $β$-混合系数 $\beta(a)$ 具有 $L_1$-风险一致性。
• 一致性通过两步收敛实现：首先，经验直方图估计量收敛至有限维近似 $\beta^{d_n}(a)$；其次，当 $d_n \to \infty$ 时，$\beta^{d_n}(a)$ 收敛至 $\beta(a)$。
• 在 $β$-混合条件下，建立了直方图估计量的收敛速率，其中 $d_n = O(\exp\{W(\log n)\})$ 确保了一致性。
• 该估计量填补了统计学习中的关键空白，使依赖于已知 $β$-混合率的现有结果得以应用。
• 该方法对模型误设具有鲁棒性，且无需对底层过程作参数假设。
• 尽管未为 $\hat{\beta}^{d_n}(a) \to \beta(a)$ 显式推导收敛速率，但该结果依赖于 $\beta^{d_n}(a) \to \beta(a)$ 的非随机收敛，该问题仍为未来研究的开放课题。