[논문 리뷰] On the Estimation of Information Measures of Continuous Distributions

Georg Pichler, Pablo Piantanida외 1명|arXiv (Cornell University)|2020. 02. 07.

Statistical Mechanics and Entropy참고 문헌 38인용 수 4

한 줄 요약

이 논문은 유한한 표본에서 연속 분포의 미분 엔트로피를 추정할 때의 기본 한계를 설정하고, 신뢰 구간을 제공한다. 추정이 유한한 지원과 리프시츠 연속성과 같은 제약 조건 없이 불가능하다는 것을 증명하며, 이러한 조건 하에서 히스토그램 기반 추정기의 명시적 신뢰 구간을 유도한다. 이러한 결과는 상호정보량과 상대 엔트로피로도 확장 가능하다.

ABSTRACT

The estimation of information measures of continuous distributions based on samples is a fundamental problem in statistics and machine learning. In this paper, we analyze estimates of differential entropy in $K$-dimensional Euclidean space, computed from a finite number of samples, when the probability density function belongs to a predetermined convex family $\mathcal{P}$. First, estimating differential entropy to any accuracy is shown to be infeasible if the differential entropy of densities in $\mathcal{P}$ is unbounded, clearly showing the necessity of additional assumptions. Subsequently, we investigate sufficient conditions that enable confidence bounds for the estimation of differential entropy. In particular, we provide confidence bounds for simple histogram based estimation of differential entropy from a fixed number of samples, assuming that the probability density function is Lipschitz continuous with known Lipschitz constant and known, bounded support. Our focus is on differential entropy, but we provide examples that show that similar results hold for mutual information and relative entropy as well.

연구 동기 및 목표

• 무작위로 추출된 유한한 수의 i.i.d. 표본으로부터 신뢰 수준 δ와 정밀도 C를 보장하는 조건 하에서 미분 엔트로피를 추정할 수 있는지 여부를 규명하는 것.
• 이러한 추정이 가능하기 위해 필요한 필수 조건과 충분 조건을 규명하는 것.
• 알려진 리프시츠 연속성과 유한한 지원 조건 하에서 히스토그램 기반 추정기의 명시적 신뢰 구간을 유도하는 것.
• 유사한 조건 하에서 상호정보량과 상대 엔트로피와 같은 다른 정보 측정치로 분석을 확장하는 것.
• 가정을 제거했을 경우 추정이 불가능해지는 것을 보여줌으로써, 유한한 지원 또는 리프시츠 연속성 조건이 반드시 필요함을 입증하는 것.

제안 방법

• K차원 유클리드 공간에서 유한한 표본 집합을 사용하여 미분 엔트로피 추정을 분석한다.
• 유한한 지원을 M^K개의 초입방체로 나누는 히스토그램 기반 추정기를 도입한다.
• 기존의 리프시츠 상수 L을 사용하여 진짜 밀도와 그 조각별 상수 히스토그램 근사 간의 오차를 제한한다.
• 집중 부등식을 적용하여 경험 엔트로피가 기대값에서 벗어나지 않는 범위를 제한한다.
• 편향(밀도 근사 오차)과 표본 변동성에 의한 분산을 제한하기 위해 보조정리를 활용한다.
• 편향과 분산 항을 조합한 신뢰 구간을 유도하며, 이는 정확도가 표본 수 N, 차원 K, 리프시츠 상수 L, 그리고 신뢰 수준 δ에 명시적으로 연결됨을 보여준다.

실험 결과

연구 질문

• RQ1 함수족 P에 속한 알려지지 않은 밀도에서 유한한 수의 i.i.d. 표본 N개만으로 고정된 신뢰 수준 δ와 정밀도 C를 확보할 수 있는가?
• RQ2 이러한 신뢰 구간이 존재하기 위해 필요한 필수 조건과 충분 조건은 무엇인가?
• RQ3 히스토그램 기반 추정기의 신뢰 구간은 표본 수 N, 차원 K, 리프시츠 상수 L, 그리고 신뢰 수준 δ에 어떻게 의존하는가?
• RQ4 유사한 가정 하에서 상호정보량과 상대 엔트로피에 대해서도 유사한 신뢰 구간을 확립할 수 있는가?
• RQ5 유한한 지원 또는 리프시츠 연속성 가정이 제거되면 추정 가능성은 어떻게 되는가?

주요 결과

• 밀도 함수족 P의 미분 엔트로피가 유계가 아니면, 보장된 신뢰 구간을 갖는 미분 엔트로피 추정은 불가능하다.
• 알려진 유한한 지원과 L-리프시츠 연속 밀도는 신뢰 구간 존재를 위한 충분 조건이다.
• 히스토그램 기반 추정기의 편향 항은 L^K / (2M) * log(M * η(K, L)) 이하로 제한되며, 여기서 η(K, L)은 K와 L에 의존한다.
• 표본 수 N이 충분히 클 경우, 분산 항은 sqrt( (2/N) * log(2/δ) * log N ) 이하로 높은 확률로 제한된다.
• 전반적인 신뢰 구간은 이러한 항들을 조합하여 유도되며, 이는 유한한 지원 또는 리프시츠 연속성 가정이 제거되면 추정이 불가능해짐을 보여준다.
• 결과는 상호정보량과 상대 엔트로피로도 확장되며, 이들 측정치에 대해서도 유사한 가능 조건이 적용됨을 시사한다.