[논문 리뷰] Estimating Functions of Probability Distributions from a Finite Set of Samples, Part 1: Bayes Estimators and the Shannon Entropy

David H. Wolpert, David R. Wolf|ArXiv.org|1994. 03. 08.

Neural Networks and Applications참고 문헌 3인용 수 13

한 줄 요약

이 논문은 유한 표본 데이터를 사용하여 이산 확률 분포의 함수, 특히 샤논 엔트로피 및 상관 정보, 공분산과 같은 관련 측정치를 위한 베이지안 추정기를 소개한다. 작은 표본 크기에서 편향을 줄이는 분석적으로 다룰 수 있는 추정기를 유도하여, 제한된 데이터에서 엔트로피 및 의존도 측정치를 추정할 때 빈도주의 방법보다 더 높은 정확도를 제공한다.

ABSTRACT

We present estimators for entropy and other functions of a discrete probability distribution when the data is a finite sample drawn from that probability distribution. In particular, for the case when the probability distribution is a joint distribution, we present finite sample estimators for the mutual information, covariance, and chi-squared functions of that probability distribution.

연구 동기 및 목표

• 유한한 수의 i.i.d. 표본만 이용 가능한 상황에서 확률 분포의 함수—특히 엔트로피와 상관 정보—를 추정하는 데 도전하는 것.
• 표본 크기가 작을 때 엔트로피 및 기타 기능에 대한 빈도주의 추정기에서 발생하는 편향을 극복하는 것.
• 사전 지식을 통합하고 기저 분포에 대한 불확실성을 통합하여 추정하는 분석적으로 다룰 수 있는 베이지안 추정기를 개발하는 것.
• 통합 분포로의 확장으로, 유한 표본에서 상관 정보, 공분산, 카이제곱 통계량을 추정할 수 있도록 하는 것.
• 자료 부족 상황에서 정보 이론적 양의 신뢰할 수 있는 통계적 추론을 위한 기반을 마련하는 것—물리학, 머신러닝, 복잡계 분야에 관련됨.

제안 방법

• 다항 확률에 딜레르트 사전을 적용하여 이산 확률 분포의 함수를 추정하는 베이지안 접근법을 수립하는 것.
• 엔트로피 및 기타 기능의 사후 기대값에 대한 닫힌 형태의 표현식을 유도하여 분석적 계산을 가능하게 하는 것.
• 추정된 분포에 대한 불확실성을 반영하기 위해 사후 예측 분포를 사용하여 추정기를 계산하는 것.
• 사후 분포에 대한 통합을 통해 연합 분포에 대해 상관 정보, 공분산, 카이제곱 통계량을 추정하는 데에 방법을 적용하는 것.
• 디릴레트-다항 분포 모델의 공액 사전의 구조를 활용하여 계산의 타당성과 수치적 안정성을 확보하는 것.
• 이론적 분석과 빈도주의 대비 방법을 통한 검증을 통해, 특히 표본 크기가 작을 때 편향이 감소하는 것을 보여주는 것.

실험 결과

연구 질문

• RQ1 유한한 수의 표본에서 샤논 엔트로피를 추정할 때 베이지안 방법을 어떻게 사용하여 편향을 줄일 수 있는가?
• RQ2 제한된 수의 i.i.d. 표본이 있을 때 상관 정보에 대한 최적의 베이지안 추정기는 무엇인가?
• RQ3 작은 표본 크기에서 엔트로피 및 의존도 측정치에 대한 베이지안 추정기와 빈도주의 추정기 간의 편향과 평균 제곱 오차 측면에서의 비교는 어떻게 되는가?
• RQ4 디릴레트 사전 하에서 정보 이론적 기능의 사후 기대값에 대해 분석적 표현식을 유도할 수 있는가?
• RQ5 공통의 정보가 없는 딜레르트 사전을 사용할 경우 연합 확률 분포의 함수를 추정할 때 어떤 의미가 있는가?

주요 결과

• 논문은 작고 제한된 표본 크기에서 최대우도 추정기보다 훨씬 낮은 편향을 보이는 분석적으로 다룰 수 있는 베이지안 추정기를 샤논 엔트로피에 대해 도출하였다.
• 엔트로피에 대한 베이지안 추정기는 딜레르트 사전 하에서 사후 평균임이 입증되었으며, 사전 지식과 불확실성을 체계적으로 통합할 수 있는 원리적인 방법을 제공한다.
• 연합 분포에 대해서는, 사후 기대값을 통해 유한 표본에서 상관 정보, 공분산, 카이제곱 통계량을 일관되게 추정할 수 있다.
• 표본 수가 가능한 결과의 수에 비해 작을 경우, 특히 평균 제곱 오차 측면에서 빈도주의 추정기보다 성능이 향상됨을 보였다.
• 이 프레임워크는 다른 이산 분포의 기능으로 일반화 가능하며, 정보 이론적 추정에 대한 통합된 베이지안 접근법을 제공한다.
• 유도된 추정기는 딜레르트-다항 분포의 공액 가족의 분석적 타당성 덕분에 몬테카를로 샘플링이 필요 없이 계산 효율성이 높다.