[論文レビュー] Estimating Differential Entropy under Gaussian Convolutions

Ziv Goldfeld, Kristjan Greenewald+1 more|arXiv (Cornell University)|Oct 27, 2018

Adversarial Robustness in Machine Learning参考文献 26被引用数 7

ひとこと要約

本稿では、$ S $ を未知の $ d $ 次元のソース、$ Z \sim \mathcal{N}(0,\sigma^2 I_d) $ とするとき、$ S $ からの i.i.d. サンプルを用いて微分エントロピー $ h(S+Z) $ のプラグイン推定量を提案する。この手法は、$ O\left((\log n)^{d/4}/\sqrt{n}\right) $ の高速収束率を達成し、滑らかな密度関数であっても、$ S+Z $ サンプルに適用される標準的な KDE や kNN 推定量の $ O(n^{-1/d}) $ のスケーリングに比べて顕著に優れている。

ABSTRACT

This paper studies the problem of estimating the differential entropy $h(S+Z)$, where $S$ and $Z$ are independent $d$-dimensional random variables with $Z\sim\mathcal{N}(0,σ^2 \mathrm{I}_d)$. The distribution of $S$ is unknown, but $n$ independently and identically distributed (i.i.d) samples from it are available. The question is whether having access to samples of $S$ as opposed to samples of $S+Z$ can improve estimation performance. We show that the answer is positive. More concretely, we first show that despite the regularizing effect of noise, the number of required samples still needs to scale exponentially in $d$. This result is proven via a random-coding argument that reduces the question to estimating the Shannon entropy on a $2^{O(d)}$-sized alphabet. Next, for a fixed $d$ and $n$ large enough, it is shown that a simple plugin estimator, given by the differential entropy of the empirical distribution from $S$ convolved with the Gaussian density, achieves the loss of $O\left((\log n)^{d/4}/\sqrt{n} ight)$. Note that the plugin estimator amounts here to the differential entropy of a $d$-dimensional Gaussian mixture, for which we propose an efficient Monte Carlo computation algorithm. At the same time, estimating $h(S+Z)$ via popular differential entropy estimators (based on kernel density estimation (KDE) or k nearest neighbors (kNN) techniques) applied to samples from $S+Z$ would only attain much slower rates of order $O(n^{-1/d})$, despite the smoothness of $P_{S+Z}$. As an application, which was in fact our original motivation for the problem, we estimate information flows in deep neural networks and discuss Tishby's Information Bottleneck and the compression conjecture, among others.

研究の動機と目的

• S からのサンプルが S+Z からのサンプルと比較して、$ h(S+Z) $ の推定に寄与するかどうかを調査すること。
• S が未知であり、S からの i.i.d. サンプルが n 個のみ利用可能な状況下で、$ h(S+Z) $ の推定に必要なサンプル量の複雑さを特定すること。
• S の経験的分布に基づく、$ S+Z $ の微分エントロピーを計算する計算効率の良い推定量を開発すること。
• 提案されたプラグイン推定量と、S+Z サンプルに適用される標準的な KDE や kNN 推定量の性能を比較すること。
• 情報ボトルネック理論や圧縮仮説の文脈において、深層ニューラルネットワークにおける情報フロー推定にこの手法を適用すること。

提案手法

• 本稿では、ランダムコーディングの議論を用いて、ガウスノイズによる正則化効果がある場合でも、サンプル量の必要性が次元 $ d $ に対して指数関数的に増加することを示している。
• S の経験的分布と $ d $ 次元ガウス密度の畳み込みによる微分エントロピーに基づくプラグイン推定量を提案している。
• 効率的なモンテカルロアルゴリズムを用いて、$ d $ 次元ガウス・ミクスチャの微分エントロピーを計算している。
• 理論的分析により、提案された推定量の収束率が $ O\left((\log n)^{d/4}/\sqrt{n}\right) $ であることを確立している。
• この収束率を、S+Z サンプルに適用される標準的な KDE や kNN 推定量の $ O(n^{-1/d}) $ の収束率と比較している。
• P_{S+Z} の滑らかさを活用しているが、次元の呪いのため、標準的な推定量はこの滑らかさを十分に活用できず、収束が遅いことが示されている。

実験結果

リサーチクエスチョン

• RQ1 S からのサンプルを S+Z からのサンプルと比較して使用することで、$ h(S+Z) $ の推定性能が向上するか？
• RQ2 S が未知であり、S からの i.i.d. サンプルが n 個のみ利用可能な状況下で、$ h(S+Z) $ を推定するために必要な根本的なサンプル量は何か？
• RQ3 S の経験的分布に基づくプラグイン推定量は、S+Z に適用される標準推定量よりも収束が速いか？
• RQ4 高次元設定において、提案手法の収束速度は KDE や kNN 推定量と比較してどの程度か？
• RQ5 この推定量は、情報ボトルネック理論や圧縮仮説の文脈において、深層ニューラルネットワークの情報フロー解析にどのような意味を持つのか？

主な発見

• ガウスノイズの正則化効果があるにもかかわらず、$ h(S+Z) $ を推定するために必要なサンプル数は、依然として次元 $ d $ に対して指数関数的に増加する。
• 提案されたプラグイン推定量は、$ O\left((\log n)^{d/4}/\sqrt{n}\right) $ の収束率を達成しており、これは標準的な KDE や kNN 推定量の $ O(n^{-1/d}) $ の収束率よりも顕著に速い。
• プラグイン推定量は $ d $ 次元ガウス・ミクスチャの微分エントロピーを計算しており、本稿ではその計算に効率的なモンテカルロアルゴリズムを提供している。
• P_{S+Z} が滑らかであるにもかかわらず、KDE や kNN などの標準推定量はこの滑らかさを十分に活用できず、収束が遅い。
• この手法により、深層ニューラルネットワークにおける情報フローの推定がより正確に行えるようになり、情報ボトルネック理論や圧縮仮説の解析を支援する。
• S からのサンプルを S+Z からのサンプルと比較して使用することで、推定性能が著しく向上することが実証された。