[论文解读] Estimating Differential Entropy under Gaussian Convolutions

Ziv Goldfeld, Kristjan Greenewald+1 more|arXiv (Cornell University)|Oct 27, 2018

Adversarial Robustness in Machine Learning参考文献 26被引用 7

一句话总结

本文提出了一种用于微分熵 $ h(S+Z) $ 的插件估计器，其中 $ S $ 是一个未知的 $ d $-维源信号，$ Z \sim \mathcal{N}(0,\sigma^2 I_d) $，并使用来自 $ S $ 的独立同分布样本。该方法展示了其收敛速度可达到 $ O\left((\log n)^{d/4}/\sqrt{n}\right) $，显著优于标准 KDE 或 kNN 估计器在 $ S+Z $ 样本上的表现，后者在平滑密度下仍为 $ O(n^{-1/d}) $ 的收敛速度。

ABSTRACT

This paper studies the problem of estimating the differential entropy $h(S+Z)$, where $S$ and $Z$ are independent $d$-dimensional random variables with $Z\sim\mathcal{N}(0,σ^2 \mathrm{I}_d)$. The distribution of $S$ is unknown, but $n$ independently and identically distributed (i.i.d) samples from it are available. The question is whether having access to samples of $S$ as opposed to samples of $S+Z$ can improve estimation performance. We show that the answer is positive. More concretely, we first show that despite the regularizing effect of noise, the number of required samples still needs to scale exponentially in $d$. This result is proven via a random-coding argument that reduces the question to estimating the Shannon entropy on a $2^{O(d)}$-sized alphabet. Next, for a fixed $d$ and $n$ large enough, it is shown that a simple plugin estimator, given by the differential entropy of the empirical distribution from $S$ convolved with the Gaussian density, achieves the loss of $O\left((\log n)^{d/4}/\sqrt{n} ight)$. Note that the plugin estimator amounts here to the differential entropy of a $d$-dimensional Gaussian mixture, for which we propose an efficient Monte Carlo computation algorithm. At the same time, estimating $h(S+Z)$ via popular differential entropy estimators (based on kernel density estimation (KDE) or k nearest neighbors (kNN) techniques) applied to samples from $S+Z$ would only attain much slower rates of order $O(n^{-1/d})$, despite the smoothness of $P_{S+Z}$. As an application, which was in fact our original motivation for the problem, we estimate information flows in deep neural networks and discuss Tishby's Information Bottleneck and the compression conjecture, among others.

研究动机与目标

• 探究是否通过访问 $ S $ 的样本而非 $ S+Z $ 的样本，能够提升对 $ h(S+Z) $ 的估计性能。
• 确定在高斯卷积下准确估计 $ h(S+Z) $ 所需的样本复杂度。
• 基于 $ S $ 的经验样本，开发一种计算高效的 $ h(S+Z) $ 估计器。
• 将所提出的插件估计器与应用于 $ S+Z $ 样本的标准 KDE 和 kNN 估计器进行性能比较。
• 将该方法应用于深度神经网络中的信息流估计，特别是在信息瓶颈理论和压缩猜想的背景下。

提出的方法

• 本文使用随机编码论证表明，即使在高斯平滑下，样本复杂度在维度 $ d $ 上仍呈指数级增长。
• 提出一种基于 $ S $ 的经验分布与 $ d $-维高斯密度卷积后微分熵的插件估计器。
• 该方法使用高效的蒙特卡洛算法计算 $ d $-维高斯混合分布的微分熵。
• 理论分析建立了所提估计器的收敛速度为 $ O\left((\log n)^{d/4}/\sqrt{n}\right) $。
• 分析将该收敛速度与应用于 $ S+Z $ 样本的标准 KDE 和 kNN 估计器的 $ O(n^{-1/d}) $ 速度进行比较。
• 该方法利用了 $ P_{S+Z} $ 的光滑性，但表明标准估计器由于维度灾难的影响，仍无法有效利用这种光滑性。

实验结果

研究问题

• RQ1 是否通过访问 $ S $ 的样本而非 $ S+Z $ 的样本，能够提升对 $ h(S+Z) $ 的估计性能？
• RQ2 当 $ S $ 未知且仅有 $ n $ 个 $ S $ 的独立同分布样本时，估计 $ h(S+Z) $ 所需的理论样本复杂度是多少？
• RQ3 基于 $ S $ 的经验分布的插件估计器是否能实现比应用于 $ S+Z $ 的标准估计器更快的收敛速度？
• RQ4 在高维设置下，所提方法的收敛速度与 KDE 和 kNN 估计器相比如何？
• RQ5 该估计器对分析深度神经网络中的信息流（特别是在信息瓶颈和压缩猜想的背景下）有何影响？

主要发现

• 尽管高斯噪声具有正则化作用，但估计 $ h(S+Z) $ 所需的样本数量在维度 $ d $ 上仍呈指数级增长。
• 所提出的插件估计器实现了 $ O\left((\log n)^{d/4}/\sqrt{n}\right) $ 的收敛速度，显著快于标准 KDE 和 kNN 估计器的 $ O(n^{-1/d}) $ 速度。
• 插件估计器计算的是 $ d $-维高斯混合分布的微分熵，本文为此计算提供了一种高效的蒙特卡洛算法。
• 尽管 $ P_{S+Z} $ 是光滑的，但标准估计器（如 KDE 和 kNN）未能有效利用这种光滑性，导致收敛速度缓慢。
• 该方法使得对深度神经网络中信息流的估计更加精确，支持对信息瓶颈和压缩猜想的分析。
• 结果表明，使用 $ S $ 的样本而非 $ S+Z $ 的样本，能显著提升估计性能。