[论文解读] Kernel Density Estimation for Dynamical Systems

Hanyuan Hang, Ingo Steinwart+2 more|arXiv (Cornell University)|Jul 13, 2016

Statistical Methods and Inference参考文献 39被引用 3

一句话总结

本论文在依赖性观测的动态系统中建立了核密度估计的普遍一致性和收敛速率，使用 $C$-混合系数来建模依赖性。在密度的霍尔德连续性假设较弱的前提下，通过结合覆盖数与伯恩斯坦型不等式的创新分析，核估计量在高概率下实现了最优的 $L_1$ 和 $L_∞$ 收敛速率，即使观测值并非独立同分布。

ABSTRACT

We study the density estimation problem with observations generated by certain dynamical systems that admit a unique underlying invariant Lebesgue density. Observations drawn from dynamical systems are not independent and moreover, usual mixing concepts may not be appropriate for measuring the dependence among these observations. By employing the $\mathcal{C}$-mixing concept to measure the dependence, we conduct statistical analysis on the consistency and convergence of the kernel density estimator. Our main results are as follows: First, we show that with properly chosen bandwidth, the kernel density estimator is universally consistent under $L_1$-norm; Second, we establish convergence rates for the estimator with respect to several classes of dynamical systems under $L_1$-norm. In the analysis, the density function $f$ is only assumed to be Hölder continuous which is a weak assumption in the literature of nonparametric density estimation and also more realistic in the dynamical system context. Last but not least, we prove that the same convergence rates of the estimator under $L_\infty$-norm and $L_1$-norm can be achieved when the density function is Hölder continuous, compactly supported and bounded. The bandwidth selection problem of the kernel density estimator for dynamical system is also discussed in our study via numerical simulations.

研究动机与目标

• 解决在标准混合假设失效的动态系统中，核密度估计面临的非独立同分布观测挑战。
• 为从具有唯一不变勒贝格密度的动态系统中产生的观测值建立密度估计的统计框架。
• 在更适用于某些动态系统的 $\nC$-混合依赖结构下，建立一致性和收敛速率。
• 在真实密度的弱正则性假设（霍尔德连续性）下，提供 $L_1$ 和 $L_∞$ 范数下的收敛速率。
• 通过数值模拟研究带宽选择，以支持在动态系统背景下的实际应用。

提出的方法

• 使用 $\nC$-混合系数量化由动态系统生成的观测之间的依赖性，替代传统的混合概念。
• 使用伯恩斯坦型指数不等式，在 $\nC$-混合条件下控制经验估计量与其期望之间的偏差。
• 应用覆盖数方法界定函数类的熵，以实现一致收敛分析。
• 将 $L_1$-误差分解为偏差和方差两部分，其中偏差通过霍尔德连续性控制，方差通过集中不等式控制。
• 通过涉及局部密度估计的两步逼近方案，优化带宽 $h_n$ 和半径 $r_n$，推导收敛速率。
• 在密度具有紧支集、有界性及霍尔德连续性的条件下，建立 $L_1$ 与 $L_∞$ 收敛速率的等价性。

实验结果

研究问题

• RQ1 当观测值依赖且由动态系统生成时，核密度估计是否在 $L_1$-范数下具有普遍一致性？
• RQ2 在 $\nC$-混合依赖下，核密度估计量的收敛速率（特别是在 $L_1$ 和 $L_∞$ 范数下）能达到何种程度？
• RQ3 真实密度的正则性特征（如霍尔德连续性）如何影响核估计量的收敛速率？
• RQ4 在紧支集和有界性等弱假设下，$L_1$ 和 $L_∞$ 范数下是否可实现相同的收敛速率？
• RQ5 在动态系统中进行核密度估计时，应如何在实践中选择带宽参数？

主要发现

• 当带宽 $h_n$ 适当地选择时，核密度估计量在 $\nC$-混合条件下于 $L_1$-范数下具有普遍一致性。
• 对于具有几何时间反向 $\nC$-混合的动态系统，且密度为霍尔德连续时，$L_1$-范数下的收敛速率为 $O\bigl(\bigl((\text{log } n)^{(2+\nu)/\nu}\bigr)/n\bigr)^{\frac{\nu\theta}{(1+\theta)(2\nu+d)-\nu}}$，高概率成立。
• 当密度有界、紧支集且霍尔德连续时，$L_1$ 与 $L_∞$ 范数下达到相同的收敛速率。
• 在 $\nC$-混合系数呈指数衰减的条件下，$L_1$-范数下的收敛速率为 $O\bigl(\bigl((\text{log } n)^{(2+\nu)/\nu}\bigr)/n\bigr)^{\frac{\nu}{2\nu+d}}(\text{log } n)^{\frac{d}{\theta}\frac{\nu+d}{2\nu+d}}$。
• 实现最优速率的带宽 $h_n$ 明确推导为 $h_n = \bigl((\text{log } n)^{(2+\nu)/\nu}/n\bigr)^{\frac{1}{2\nu+d}}$，适用于 $L_1$-范数情形。
• 数值模拟表明，所提出的带宽选择策略在实践中可产生稳定且准确的密度估计，支持其在真实动态系统应用中的使用。