[论文解读] Numerical performance of Penalized Comparison to Overfitting for multivariate kernel density estimation

S. Varet, Claire Lacour+2 more|arXiv (Cornell University)|Feb 4, 2019

Statistical Methods and Inference被引用 6

一句话总结

本文通过大量模拟实验评估了多变量核密度估计中带宽选择的惩罚性过拟合比较（PCO）方法。PCO在稳定性与准确性方面优于传统的交叉验证和插件方法，尤其在样本量较大和中等维度下表现更优，且计算成本未增加，验证了其理论最优性，惩罚常数为1。

ABSTRACT

Kernel density estimation is a well known method involving a smoothing parameter (the bandwidth) that needs to be tuned by the user. Although this method has been widely used the bandwidth selection remains a challenging issue in terms of balancing algorithmic performance and statistical relevance. The purpose of this paper is to compare a recently developped bandwidth selection method for kernel density estimation to those which are commonly used by now (at least those which are implemented in the R-package). This new method is called Penalized Comparison to Overfitting (PCO). It has been proposed by some of the authors of this paper in a previous work devoted to its statistical relevance from a purely theoretical perspective. It is compared here to other usual bandwidth selection methods for univariate and also multivariate kernel density estimation on the basis of intensive simulation studies. In particular, cross-validation and plug-in criteria are numerically investigated and compared to PCO. The take home message is that PCO can outperform the classical methods without algorithmic additionnal cost.

研究动机与目标

• 评估惩罚性过拟合比较（PCO）带宽选择方法在多变量核密度估计中的数值性能。
• 比较PCO与已建立的方法（如交叉验证（UCV、SCV）和插件方法（PI、RoT））在L2损失性能方面的表现。
• 评估PCO中理论上最优的惩罚常数1在小到中等样本量下是否仍具有效性。
• 研究带宽矩阵结构（对角与全矩阵）对PCO在不同维度和密度下的性能影响。
• 确定PCO在广泛多变量密度形状和样本量范围内的鲁棒性与竞争力。

提出的方法

• PCO通过最小化基于MISE偏差-方差分解的惩罚L2损失准则来选择带宽。
• 惩罚项旨在估计方差，而偏差则通过惩罚结构隐式估计，结合了交叉验证与插件方法的特点。
• 惩罚常数设为1，基于先前研究中证明的理论渐近最优性。
• 在多种多变量密度（如正态分布、偏态分布、混合分布）、维度（d=2,3,4）和样本量（n=100, 1000）下进行模拟实验。
• 通过L2损失下的积分平方误差（ISE）评估性能，将PCO与UCV、SCV、PI、RoT和CG进行比较。
• 使用对角和全带宽矩阵以评估对结构的敏感性，尤其是在高维情况下的表现。

实验结果

研究问题

• RQ1 PCO在各种多变量密度下是否保持良好性能，特别是在样本量较小或维度较高的情况下？
• RQ2 PCO中理论上最优的惩罚常数1在有限样本下是否具有数值有效性，特别是在高维设置中？
• RQ3 在不同带宽矩阵结构下，PCO在稳定性和准确性方面与交叉验证和插件方法相比如何？
• RQ4 当存在强相关结构或复杂密度形态（如偏度或多重峰）时，PCO的性能是否会下降？
• RQ5 在何种情况下PCO优于或劣于经验法则或其它插件方法？

主要发现

• PCO在所有测试密度和维度下均表现出稳定性能，估计精度无显著下降。
• 在单变量情况下，PCO性能始终接近最优，且与交叉验证方法差距不大，尤其在大样本量下表现更优。
• 在带宽矩阵为对角结构的多变量设置中，PCO在维度2、3和4下几乎达到最优性能，即使存在相关性亦然。
• 在高维设置中，PCO优于平滑插件方法（PI），且在真实密度为正态分布时仍保持竞争力。
• 对于d ≥ 3且样本量较小时，SCV在某些情况下略优于PCO，但PCO的稳定性优于SCV。
• PCO从未系统性地被其他方法超越，始终是多种场景下可靠且稳健的选择。