[논문 리뷰] Entropy Estimates from Insufficient Samplings

Peter Grassberger|arXiv (Cornell University)|2003. 07. 29.

Algorithms and Data Compression참고 문헌 4인용 수 75

한 줄 요약

이 논문은 희소 데이터에서 샤논 엔트로피를 분석적으로 추정하기 위한 새로운 추정기 방법을 제안한다. 이는 그라스버거(Grassberger)의 1988년 방법을 보정한 것으로, 다이감마 함수와 수치 최적화를 통해 편향을 개선한다. 기존의 표준 추정기보다 체계적 편향이 현저히 낮으며, 특히 샘플 수가 적은 영역에서 유의미하게 성능이 뛰어나며, 통계적 오차는 유지하면서 베이지안 방법에서 요구하는 사전 분포가 필요로 하지 않는다.

ABSTRACT

We present a detailed derivation of some estimators of Shannon entropy for discrete distributions. They hold for finite samples of N points distributed into M "boxes", with N and M -> oo, but N/M < oo. In the high sampling regime (<< 1 points in each box) they have exponentially small biases. In the low sampling regime the errors increase but are still much smaller than for most other estimators. One advantage is that our main estimators are given analytically, with explicitly known analytical formulas for the biases.

연구 동기 및 목표

• Grassberger의 1988년 엔트로피 추정기의 오류를 수정하고 체계화하기 위해, 편향 유도 과정에 오류가 있었고 엄밀한 정당성이 부족했던 점을 보완한다.
• 특히 $ N/M \ll 1 $ 인 낮은 샘플링 영역에서 체계적 편향이 최소화된 새로운 분석적 엔트로피 추정기를 개발한다.
• 편향, 통계적 오차, 내성에 관해 분석적 추정기와 수치 최적화된 추정기의 성능을 비교한다.
• 다이감마 함수 $ \psi(n) $ 와 그 보정 항이 편향과 분산 사이에 강력한 트레이드오프를 제공함을 보여준다.
• 특히 사전 정보가 없을 경우 유용한, 사전 분포가 없는 실용적인 베이지안 추정기의 대안을 제공한다.

제안 방법

• 희귀 사건에 대해 포isson 근사법을 사용하여 편향 보정된 엔트로피 추정기를 유도하며, $ z_i = p_i N \to 0 $ 라고 가정하고 $ N, M \to \infty $ 라고 한다.
• 추정기 $ \hat{H}_\phi = \ln N - \frac{M}{N} \overline{n \phi(n)} $ 를 도입하며, 여기서 $ \phi(n) $ 는 관측된 빈도 $ n_i $ 에 대한 함수이고, $ \overline{\cdot} $ 는 상자들에 대한 평균을 의미한다.
• 다이감마 함수 $ \psi(n) $ 를 $ \phi(n) $ 의 핵심 구성 요소로 사용하며, 포isson 통계 하에서 $ n \phi(n) $ 의 기대값에서 유도된다.
• z-모멘트 기반의 체계적 전개를 적용하고, 음수인 $ q $ 에 대해 해석적 계속성을 사용하여 편향 보정 항을 유도한다.
• 시뮬레이티드 어닐링을 사용하여 $ \phi(n) $ 를 수치적으로 최적화하며, $ z \in (0, \infty) $ 에서 편향의 $ L^2 $ 노름을 최소화한다.
• 정수 $ q $ 에 대해 Renyi 엔트로피로 방법을 일반화하지만, $ q \neq 1 $ 에서는 새로운 추정기의 확장에 한계가 있음을 지적한다.

실험 결과

연구 질문

• RQ1 Grassberger의 1988년 엔트로피 추정기의 체계적 유도를 제공할 수 있는가? 이는 이전의 편향 추정 오류를 수정하는 데 초점이 맞춰져 있다.
• RQ2 희소 샘플링 조건 하에서 엔트로피 추정의 편향을 최소화하는 최적의 함수 $ \phi(n) $ 는 무엇인가?
• RQ3 새로운 분석적 추정기 $ \hat{H}_\psi $ 는 난이도 추정기와 베이지안 방법에 비해 편향과 통계적 오차 측면에서 어떻게 성능을 발휘하는가?
• RQ4 수치적으로 최적화된 $ \phi(n) $ 함수는 분석적 형태보다 낮은 절대 편향을 제공할 수 있는가? 통계적 오차와 단조성의 트레이드오프는 어떠한가?
• RQ5 새로운 추정기는 샤논의 경우를 초월해 Renyi 엔트로피로 얼마나 일반화될 수 있는가?

주요 결과

• 다이감마 함수 $ \psi(n) $ 를 기반으로 한 추정기 $ \hat{H}_\psi $ 는 최대 절대 편향이 약 0.1407로, 대부분의 대안보다 현저히 낮다.
• $ N/M < z^* \approx 0.217 $ 인 경우, 최악의 편향은 $ -\Delta H_G \leq E_1(2N/M) $ 로 유계이며, $ N/M \to 0 $ 일 때 로그적으로 발산한다.
• 시뮬레이티드 어닐링을 통해 수치 최적화된 $ \phi(n) $ 함수는 $ \psi(n) $ 보다 더 낮은 편향을 제공하지만, 비단조성과 통계적 오차 증가를 수반한다.
• $ \hat{H}_\psi $ 의 편향은 Nemenman(2003)의 6개 테스트 케이스 중 두 개를 제외한 나머지에서 $ N \geq 100 $ 일 때 기하급수적으로 낮아지며, 표준 오차의 2배 이내로 간주할 수 있다. 이는 지프 법칙과 $ \beta = 1 $ 의 경우를 포함한다.
• 새로운 추정기는 통계적 오차 측면에서 베이지안 추정기와 유사하게 성능을 발휘하며, $ N \geq 300 $ 인 경우 특히 부족한 샘플링 설정에서 편향 측면에서 베이지안 방법을 능가한다.
• 이 방법은 사전 분포가 필요로 하지 않아 실용적으로 베이지안 대안보다 더 강건하고 적용하기 쉬워진다.