[论文解读] Axiomatic Approach to Variable Kernel Density Estimation

Ilja Klebanov|arXiv (Cornell University)|May 4, 2018

Medical Imaging Techniques and Applications参考文献 13被引用 7

一句话总结

本文提出了一种变量核密度估计（VKDE）的公理化框架，确保在线性变换和密度拆分下保持不变性，解决了小至中等样本规模下渐近带宽选择的局限性。该框架引入了一种基于局部变异性和自适应卷积的新带宽选择规则，在合成数据和真实世界实例中显著优于传统方法，尤其在捕捉复杂密度结构方面，均方积分误差（MISE）得到改善。

ABSTRACT

Variable kernel density estimation allows the approximation of a probability density by the mean of differently stretched and rotated kernels centered at given sampling points $y_n\in\mathbb{R}^d,\ n=1,\dots,N$. Up to now, the choice of the corresponding bandwidth matrices $h_n$ has relied mainly on asymptotic arguments, like the minimization of the asymptotic mean integrated squared error (AMISE), which work well for large numbers of sampling points. However, in practice, one is often confronted with small to moderately sized sample sets far below the asymptotic regime, which highly restricts the usability of such methods. As an alternative to this asymptotic reasoning we suggest an axiomatic approach which guarantees invariance of the density estimate under linear transformations of the original density (and the sampling points) as well as under splitting of the density into several `well-separated' parts. In order to still ensure proper asymptotic behavior of the estimate, we \emph{postulate} the typical dependence $h_n\propto N^{-1/(d+4)}$. Further, we derive a new bandwidths selection rule which satisfies these axioms and performs considerably better than conventional ones in an artificially intricate two-dimensional example as well as in a real life example.

研究动机与目标

• 本文针对渐近带宽选择规则在小至中等样本量下表现不佳的问题。
• 指出现有VKDE方法在一般线性变换下缺乏不变性是其关键局限。
• 目标是开发一种满足不变性公理且保持渐近一致性的带宽选择规则。
• 旨在构建一个更稳健且合理的VKDE带宽规则评估框架。
• 该框架旨在提升实际非渐近场景下的密度估计精度。

提出的方法

• 作者提出了三个不变性公理：在包括缩放和旋转在内的线性变换下不变性、在分离良好的密度分量拆分下不变性，以及带宽 h ∝ N⁻¹/(d+4) 的渐近一致性。
• 基于局部变异性和自适应卷积，推导出一种新的带宽选择规则，通过固定点迭代求解涉及密度估计的隐式方程。
• 该方法使用矩阵值带宽 hn ∈ GL(d, ℝ)，以实现不同方向上核函数的拉伸与旋转。
• 对于高斯核，利用高斯卷积和导数的性质，通过解析方法计算固定点迭代。
• 带宽选择规则通过一个隐式方程（12）定义，涉及密度估计的局部变异。
• 该规则通过固定点迭代（9）实现，根据当前估计的局部结构更新带宽。

实验结果

研究问题

• RQ1 能否开发一种VKDE的带宽选择规则，使其在一般线性变换（包括旋转和缩放）下保持不变，而不仅限于标量缩放？
• RQ2 基于不变性和局部变异性的公理化框架，是否能在小至中等样本规模下带来更稳健、更准确的密度估计？
• RQ3 此类规则是否能在MISE指标上优于传统渐近方法（如Parzen法）和固定灵敏度VKDE？
• RQ4 所提方法是否能比标准KDE或现有VKDE方法更准确地捕捉复杂多峰密度结构？
• RQ5 求解隐式带宽选择方程所用的固定点迭代的收敛性和计算特性如何？

主要发现

• 所提出的带宽选择规则（14）在人工二维示例中实现了0.38的MISE，显著低于标准KDE（0.57）和其他VKDE方法。
• 在地震数据示例中，使用规则（14）的VKDE生成了比标准KDE和β = 1/2的VKDE更准确且更符合地质学原理的密度估计。
• 密度估计导数的MISE也最低，为0.40，而标准KDE为0.55，Parzen方法为1.34。
• 使用规则（14）的固定点迭代收敛至稳定估计，在地震数据示例中，10–20步后即可观察到视觉上的显著改善。
• 该方法优于Parzen规则，后者在合成示例中MISE为0.65，在导数估计中为1.34，表明在复杂区域表现较差。
• 高斯核的解析解使固定点迭代可精确计算，但对大样本而言仍计算成本较高。