[论文解读] Asymptotics of Lower Dimensional Zero-Density Regions

Hengrui Luo, Steve MacEachern+1 more|arXiv (Cornell University)|Jun 3, 2020

Topological and Geometric Data Analysis参考文献 34被引用 4

一句话总结

该论文提出一种方法，通过使用半径随样本量缩小的覆盖球，利用底层密度的分布特性，渐近检测数据中低维零密度区域。证明在半径衰减和密度光滑性满足特定条件时，随着样本量增加，此类区域可被以概率趋于1的方式识别，同时最小化误报。

ABSTRACT

Topological data analysis (TDA) allows us to explore the topological features of a dataset. Among topological features, lower dimensional ones have recently drawn the attention of practitioners in mathematics and statistics due to their potential to aid the discovery of low dimensional structure in a data set. However, lower dimensional features are usually challenging to detect based on finite samples and using TDA methods that ignore the probabilistic mechanism that generates the data. In this paper, lower dimensional topological features occurring as zero-density regions of density functions are introduced and thoroughly investigated. Specifically, we consider sequences of coverings for the support of a density function in which the coverings are comprised of balls with shrinking radii. We show that, when these coverings satisfy certain sufficient conditions as the sample size goes to infinity, we can detect lower dimensional, zero-density regions with increasingly higher probability while guarding against false detection. We supplement the theoretical developments with the discussion of simulated experiments that elucidate the behavior of the methodology for different choices of the tuning parameters that govern the construction of the covering sequences and characterize the asymptotic results.

研究动机与目标

• 解决标准拓扑数据分析（TDA）因支持测度为零而无法检测低维零密度区域的挑战。
• 开发一种方法，利用数据在这些区域附近累积的渐近行为，而非有限样本点模式。
• 在防止误报不存在特征的前提下，确保对零密度区域的高检测概率。
• 形式化在样本量增加时，覆盖球构造可可靠识别这些特征的条件。

提出的方法

• 使用随样本量增加而缩小的半径的球，构建密度函数支撑的覆盖序列。
• 聚焦于与目标零密度区域 $ S_0 $ 相交的球，目标是使所有此类球在极限下不包含数据点。
• 基于 $ S_0 $ 的 $ \rho(n) $-邻域中点的期望数量，利用密度的局部行为推导概率界。
• 应用伯努利不等式，证明在半径足够快衰减的条件下，所有相关球为空的概率趋于1。
• 定义一个关键条件，涉及维度 $ d $、低维结构 $ d_0 $ 和密度的 Hölder 光滑度 $ \underline{K}_f $：$ 1 + d_0\eta - \underline{K}_f\eta - d\eta < 0 $。
• 引入调参参数 $ \epsilon(n) $ 以定义 $ S_0 $ 周围的邻域大小，并确保半径 $ r(n) $ 的衰减速率与该邻域及密度的光滑性相容。

实验结果

研究问题

• RQ1 随着样本量增加，尽管零密度区域无概率质量，是否能以更高精度检测到其低维零密度区域？
• RQ2 半径衰减和密度光滑性的何种条件可确保围绕这些区域的覆盖球以高概率保持为空？
• RQ3 该方法如何在有限样本中区分真实的零密度结构与虚假孔洞或噪声？
• RQ4 密度的局部 Hölder 光滑度在低维特征可检测性中起何种作用？
• RQ5 覆盖半径和邻域大小的选择如何影响渐近检测概率？

主要发现

• 在条件 $ 1 + d_0\eta - \underline{K}_f\eta - d\eta < 0 $ 下，随着 $ n \to \infty $，所有与 $ S_0 $ 相交的 $ \epsilon(n) $-内覆盖球为空的概率收敛于1。
• 该方法确保非零密度区域最终会被包含至少一个数据点的球覆盖，从而保持特征区分性。
• 渐近检测率取决于维度 $ d $、低维结构 $ d_0 $ 和密度的局部 Hölder 光滑度 $ \underline{K}_f $ 之间的相互作用。
• 通过确保相关球中点的期望数量足够快衰减，控制了误报概率。
• 理论框架得到模拟实验的支持，展示了在不同半径和邻域大小调参下的行为。
• 该结果适用于 $[0,1]^d$ 上行为良好的密度，在较弱正则性条件下可推广至更一般的支撑。