[论文解读] A fully data-driven method for estimating density level sets

Rodríguez-Casal, A., Saavedra-Nieves, P.|arXiv (Cornell University)|Nov 27, 2014

Statistical Methods and Inference参考文献 39被引用 3

一句话总结

本文提出了一种完全基于数据的混合方法，用于在假设 r-凸性条件下的密度水平集估计，其中形状参数 r 从数据中自适应选择。通过结合核密度估计与 r-凸性约束，并使用随机算法选择 r，该方法在无需惩罚项或对 r 的先验知识的情况下实现了最优收敛速率，在几何约束条件下优于传统的插补法和超额质量法。

ABSTRACT

Density level sets can be estimated using plug-in methods, excess mass algorithms or a hybrid of the two previous methodologies. The plug-in algorithms are based on replacing the unknown density by some nonparametric estimator, usually the kernel. Thus, the bandwidth selection is a fundamental problem from an applied perspective. However, if some a priori information about the geometry of the level set is available, then excess mass algorithms could be useful. Hybrid methods such that granulometric smoothing algorithm assume a mild geometric restriction on the level set and it requires a pilot nonparametric estimator of the density. In this work, a new hybrid algorithm is proposed under the assumption that the level set is r-convex. The main problem in practice is that r is an unknown geometric characteristic of the set. A stochastic algorithm is proposed for selecting its optimal value. The resulting data-driven reconstruction of the level set is able to achieve the same convergence rates as the granulometric smoothing method. However, they do no depend on any penalty term because, although the value of the shape index r is a priori unknown, it is estimated in a data-driven way from the sample points. The practical performance of the estimator proposed is illustrated through a real data example.

研究动机与目标

• 开发一种在几何约束下估计密度水平集的全数据驱动方法。
• 解决混合水平集估计中未知 r-凸性参数 r 的挑战。
• 通过直接从数据中估计 r 来消除对惩罚项或人工调参的需求。
• 在保持全数据驱动自适应性的同时，实现与粒度平滑方法相当的最优收敛速率。
• 通过利用几何结构，提升在聚类和异常值检测等应用中的实际性能。

提出的方法

• 该方法假设真实水平集为 r-凸集，并使用基于数据自适应带宽选择的核密度估计。
• 提出一种随机算法，从未知的 r 参数中估计样本数据，避免人工或基于惩罚的选取。
• 估计器被构造为核密度估计值超过阈值 t 的点的集合，并受 r-凸性约束。
• 通过在估计的水平集上施加 r-凸性，将插补密度估计与超额质量原理相结合。
• 利用紧集上核密度估计器的一致收敛性以及阈值小扰动下的稳定性，推导出理论保证。
• 在正则性条件下，估计器的收敛速率与粒度平滑方法一致，几乎必然达到 O((log n / n)^{p/(d+2p)})。

实验结果

研究问题

• RQ1 能否提出一种完全基于数据的方法，在无需 r 的先验知识或惩罚项的情况下，估计 r-凸性条件下的密度水平集？
• RQ2 如何从数据中自适应地估计 r-凸性参数 r，以确保最优收敛速率？
• RQ3 所提出的混合方法是否在全数据驱动的前提下，实现了与粒度平滑方法相同的理论收敛速率？
• RQ4 几何约束对有限样本中水平集估计的鲁棒性与准确性有何影响？
• RQ5 在白血病聚类等实际应用中，该方法与插补法和超额质量法相比表现如何？

主要发现

• 在正则性条件下，所提出的方法几乎必然达到与粒度平滑方法相同的收敛速率 O((log n / n)^{p/(d+2p)})。
• 使用随机算法从未知数据中估计 r-凸性参数 r，消除了对惩罚项或人工选择的需求。
• 该方法在无需事先知晓水平集几何形状的情况下，仍能保持最优收敛速率。
• 理论结果表明，核密度估计器在包含水平集的紧集上一致收敛，收敛速率取决于密度的光滑度和维度。
• 真实数据（白血病聚类）的实证结果表明，该方法在实际性能上优于标准方法，表现出更强的优越性与鲁棒性。
• 如命题 6.3 所示，该方法在小阈值扰动下具有稳定性，通过包含性质确保了可靠的集合重构。