[论文解读] Ensemble estimators for multivariate entropy estimation

Kumar Sricharan, Dennis Wei+1 more|arXiv (Cornell University)|Mar 26, 2012

Machine Learning and Algorithms参考文献 11被引用 7

一句话总结

本文提出一种集成估计器，通过最优加权仿射组合多个收敛缓慢的密度泛函估计器（如k-NN和基于核的方法），实现性能提升。通过离线求解凸优化问题，该方法实现了参数化的均方误差（MSE）率 $O(T^{-1})$，显著优于在高维情形下因维度灾难导致的标准 $O(T^{-\gamma/d})$ 速率，适用于微分熵和扭曲-率因子估计等应用。

ABSTRACT

The problem of estimation of density functionals like entropy and mutual information has received much attention in the statistics and information theory communities. A large class of estimators of functionals of the probability density suffer from the curse of dimensionality, wherein the mean squared error (MSE) decays increasingly slowly as a function of the sample size $T$ as the dimension $d$ of the samples increases. In particular, the rate is often glacially slow of order $O(T^{-γ/{d}})$, where $γ>0$ is a rate parameter. Examples of such estimators include kernel density estimators, $k$-nearest neighbor ($k$-NN) density estimators, $k$-NN entropy estimators, intrinsic dimension estimators and other examples. In this paper, we propose a weighted affine combination of an ensemble of such estimators, where optimal weights can be chosen such that the weighted estimator converges at a much faster dimension invariant rate of $O(T^{-1})$. Furthermore, we show that these optimal weights can be determined by solving a convex optimization problem which can be performed offline and does not require training data. We illustrate the superior performance of our weighted estimator for two important applications: (i) estimating the Panter-Dite distortion-rate factor and (ii) estimating the Shannon entropy for testing the probability distribution of a random sample.

研究动机与目标

• 为解决多元微分熵与泛函估计中的维度灾难问题，其中MSE速率随维度 $d$ 增加而退化为 $O(T^{-\gamma/d})$。
• 构建一种通用框架，用于组合多个密度泛函估计器，以在无需训练数据的情况下加速收敛。
• 在高维设置下，实现微分熵估计的参数化MSE收敛速率 $O(T^{-1})$。
• 通过凸规划实现数据无关的权重离线优化，避免在线调参或依赖密度的参数。

提出的方法

• 构建满足条件 $\mathscr{C}.1$ 和 $\mathscr{C}.2$ 的估计器集合的加权仿射组合，确保偏差降低与更快收敛。
• 通过求解最小化渐近MSE的凸优化问题，推导出最优权重，且该过程独立于底层密度。
• 采用均匀核插值估计器作为实用的集成组件，其满足所需的正则性条件。
• 将集成估计器应用于两个关键应用：Panter-Dite扭曲-率因子估计与基于熵估计的分布验证。
• 利用泰勒展开与矩近似，将估计器分解为偏差与方差分量，以分析收敛速率。
• 证明估计器的方差以 $O(1/N)$ 衰减，偏差以 $O(1/M)$ 衰减，其中 $M$ 与 $N$ 分别代表估计过程中使用的样本量。

实验结果

研究问题

• RQ1 能否通过慢收敛估计器的加权组合，在高维微分熵估计中实现参数化的MSE速率 $O(T^{-1})$？
• RQ2 能否在无需训练数据或真实密度知识的情况下，离线计算此类集成的最优权重？
• RQ3 简单的均匀核插值估计器是否满足集成实现加速收敛所必需的条件？
• RQ4 该集成方法对实际应用（如扭曲-率因子估计与分布检验）有何影响？
• RQ5 在高维情形下，该方法相较于k-NN或核密度估计器等单个估计器的性能表现如何？

主要发现

• 所提出的集成估计器实现了均方误差（MSE）速率 $O(T^{-1})$，为参数化速率且与维度 $d$ 无关，显著优于标准估计器的 $O(T^{-\gamma/d})$ 速率。
• 最优权重可通过不依赖训练数据或密度相关参数的凸优化问题计算，支持离线求解。
• 均匀核插值估计器的集成满足必要条件 $\mathscr{C}.1$ 与 $\mathscr{C}.2$，验证了其在框架中的适用性。
• 集成估计器的方差以 $O(1/N)$ 衰减，偏差以 $O(1/M)$ 衰减，且在适当缩放下整体MSE收敛至 $O(T^{-1})$。
• 实验验证表明，该方法在Panter-Dite扭曲-率因子估计与基于熵估计的随机样本分布检验中均表现更优。
• 该方法为复杂估计器（如需对称核与截断处理）提供了一种简单而强大的替代方案，且收敛速率相当或更优。