[논문 리뷰] Estimating Differential Entropy under Gaussian Convolutions

Ziv Goldfeld, Kristjan Greenewald외 1명|arXiv (Cornell University)|2018. 10. 27.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 7

한 줄 요약

이 논문은 $ S $에서의 i.i.d. 표본을 사용하여, $ S $가 알려지지 않은 $ d $-차원 소스이고 $ Z \sim \mathcal{N}(0,\sigma^2 I_d) $일 때, 미분 엔트로피 $ h(S+Z) $를 위한 플러그인 추정기를 제안한다. 이 방법은 $ O\left((\log n)^{d/4}/\sqrt{n}\right) $의 빠른 수렴 속도를 달성하며, 부드러운 밀도 조건이 존재하더라도 표준 KDE 또는 kNN 추정기보다 훨씬 빠르게 수렴한다. 이는 $ S+Z $ 표본에 적용되는 KDE나 kNN 추정기의 수렴 속도인 $ O(n^{-1/d}) $보다 뛰어나다.

ABSTRACT

This paper studies the problem of estimating the differential entropy $h(S+Z)$, where $S$ and $Z$ are independent $d$-dimensional random variables with $Z\sim\mathcal{N}(0,σ^2 \mathrm{I}_d)$. The distribution of $S$ is unknown, but $n$ independently and identically distributed (i.i.d) samples from it are available. The question is whether having access to samples of $S$ as opposed to samples of $S+Z$ can improve estimation performance. We show that the answer is positive. More concretely, we first show that despite the regularizing effect of noise, the number of required samples still needs to scale exponentially in $d$. This result is proven via a random-coding argument that reduces the question to estimating the Shannon entropy on a $2^{O(d)}$-sized alphabet. Next, for a fixed $d$ and $n$ large enough, it is shown that a simple plugin estimator, given by the differential entropy of the empirical distribution from $S$ convolved with the Gaussian density, achieves the loss of $O\left((\log n)^{d/4}/\sqrt{n} ight)$. Note that the plugin estimator amounts here to the differential entropy of a $d$-dimensional Gaussian mixture, for which we propose an efficient Monte Carlo computation algorithm. At the same time, estimating $h(S+Z)$ via popular differential entropy estimators (based on kernel density estimation (KDE) or k nearest neighbors (kNN) techniques) applied to samples from $S+Z$ would only attain much slower rates of order $O(n^{-1/d})$, despite the smoothness of $P_{S+Z}$. As an application, which was in fact our original motivation for the problem, we estimate information flows in deep neural networks and discuss Tishby's Information Bottleneck and the compression conjecture, among others.

연구 동기 및 목표

• 표본이 $ S+Z $가 아닌 $ S $에서 온다는 사실이 $ h(S+Z) $ 추정 성능을 향상시키는지 조사하기.
• 가우시안 컨볼루션 하에서 $ h(S+Z) $를 정확하게 추정하기 위해 필요한 표본 복잡도를 규명하기.
• $ S $의 경험적 표본을 사용하여 $ h(S+Z) $에 대한 계산적으로 효율적인 추정기를 개발하기.
• 제안된 플러그인 추정기와 $ S+Z $ 표본에 적용된 표준 KDE 및 kNN 추정기 간의 성능을 비교하기.
• 딥 뉴럴 네트워크에서의 정보 흐름 추정에 이 방법을 적용하기, 특히 정보 봉쇄 이론과 압축 추측의 맥락에서 고려하기.

제안 방법

• 논문은 가우시안 스무딩이 있음에도 불구하고 표본 복잡도가 여전히 차원 $ d $ 에 대해 지수적으로 증가함을 보이기 위해 무작위 코드 설계 원리를 사용한다.
• 표본 분포를 가우시안 밀도와 컨볼루션한 $ d $-차원에서의 미분 엔트로피를 기반으로 한 플러그인 추정기를 제안한다.
• 효율적인 몬테카를로 알고리즘을 사용하여 $ d $-차원 가우시안 혼합 분포의 미분 엔트로피를 계산한다.
• 이론적 분석을 통해 제안된 추정기의 수렴 속도가 $ O\left((\log n)^{d/4}/\sqrt{n}\right) $임을 입증한다.
• 이 수렴 속도를 $ S+Z $ 표본에 적용된 표준 KDE 및 kNN 추정기의 $ O(n^{-1/d}) $ 수렴 속도와 비교한다.
• 분포 $ P_{S+Z} $의 부드러움을 활용하지만, 고차원성의 고통(curse of dimensionality)으로 인해 표준 추정기들은 이 부드러움을 효과적으로 활용하지 못해 느린 수렴을 보임을 밝힌다.

실험 결과

연구 질문

• RQ1 표본이 $ S+Z $가 아닌 $ S $에서 온다는 것이 $ h(S+Z) $의 추정 성능을 향상시키는가?
• RQ2 $ S $가 알려져 있지 않고 $ n $개의 i.i.d. 표본만 제공되는 조건에서 $ h(S+Z) $를 추정하기 위해 필요한 기본적인 표본 복잡도는 무엇인가?
• RQ3 $ S $의 경험 분포를 기반으로 한 플러그인 추정기가 $ S+Z $에 적용된 표준 추정기보다 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ4 고차원 환경에서 제안된 방법의 수렴 속도가 KDE 및 kNN 추정기와 비교해 어떻게 되는가?
• RQ5 이 추정기의 결과가 정보 봉쇄 이론과 압축 추측의 맥락에서 딥 뉴럴 네트워크의 정보 흐름 분석에 어떤 영향을 미치는가?

주요 결과

• 가우시안 노이즈의 정규화 효과가 있음에도 불구하고, $ h(S+Z) $를 추정하기 위해 필요한 표본 수는 여전히 차원 $ d $ 에 대해 지수적으로 증가한다.
• 제안된 플러그인 추정기는 $ O\left((\log n)^{d/4}/\sqrt{n}\right) $의 수렴 속도를 달성하며, 이는 표준 KDE 및 kNN 추정기의 $ O(n^{-1/d}) $ 수렴 속도보다 훨씬 빠르다.
• 플러그인 추정기는 $ d $-차원 가우시안 혼합 분포의 미분 엔트로피를 계산하며, 논문은 이 계산을 위한 효율적인 몬테카를로 알고리즘을 제공한다.
• 비록 $ P_{S+Z} $가 부드럽지만, KDE 및 kNN과 같은 표준 추정기들은 이 부드러움을 효과적으로 활용하지 못해 느린 수렴을 보인다.
• 이 방법은 딥 뉴럴 네트워크에서의 정보 흐름 추정을 더 정확하게 가능하게 하며, 정보 봉쇄 이론과 압축 추측 분석을 지원한다.
• 표본이 $ S+Z $가 아닌 $ S $에서 온다는 사실이 추정 성능 향상에 상당한 기여를 한다는 것이 결과적으로 입증되었다.