[논문 리뷰] Bayesian Entropy Estimation for Countable Discrete Distributions

Evan Archer, Il Memming Park외 1명|arXiv (Cornell University)|2013. 02. 02.

Bayesian Methods and Mixture Models참고 문헌 30인용 수 6

한 줄 요약

이 논문은 수렴이 무한한 이산 분포에 대해 Pitman-Yor 혼합(PYM) 사전을 사용하여 베이지안 엔트로피 추정기를 제안한다. 이 사전은 엔트로피 위에 거의 비정보적이고 평탄한 사전을 유도한다. 연속적인 혼합 측도를 사용해 Pitman-Yor 과정을 혼합함으로써, 모수 추정의 수형이 부족한 영역에서도 일致된 엔트로피 추정이 가능해지며, 시뮬레이션과 실제 신경 데이터에서 고정 사전 접근 방식보다 뛰어난 성능을 보인다. 또한 엔트로피 추정의 사후 모멘트를 해석적으로 다룰 수 있다.

ABSTRACT

We consider the problem of estimating Shannon's entropy $H$ from discrete data, in cases where the number of possible symbols is unknown or even countably infinite. The Pitman-Yor process, a generalization of Dirichlet process, provides a tractable prior distribution over the space of countably infinite discrete distributions, and has found major applications in Bayesian non-parametric statistics and machine learning. Here we show that it also provides a natural family of priors for Bayesian entropy estimation, due to the fact that moments of the induced posterior distribution over $H$ can be computed analytically. We derive formulas for the posterior mean (Bayes' least squares estimate) and variance under Dirichlet and Pitman-Yor process priors. Moreover, we show that a fixed Dirichlet or Pitman-Yor process prior implies a narrow prior distribution over $H$, meaning the prior strongly determines the entropy estimate in the under-sampled regime. We derive a family of continuous mixing measures such that the resulting mixture of Pitman-Yor processes produces an approximately flat prior over $H$. We show that the resulting Pitman-Yor Mixture (PYM) entropy estimator is consistent for a large class of distributions. We explore the theoretical properties of the resulting estimator, and show that it performs well both in simulation and in application to real data.

연구 동기 및 목표

• 가능한 기호의 수가 알려져 있거나 가산 무한일 수 있는 희소한, 수형이 부족한 데이터에서 샤논 엔트로피를 추정하는 데 도전하는 것.
• 낮은 샘플 영역에서 고정된 딜레트 사전 또는 피트만-요르 과정 사전이 유도하는 편향과 좁은 신뢰구간을 극복하는 것.
• 엔트로피 위에 거의 평탄하고 비정보적인 사전을 유도하는 이산 분포에 대한 사전을 개발하는 것.
• 제안된 사전 하에서 엔트로피의 사후 평균과 분산에 대한 해석적 표현을 유도하는 것.
• 제안된 Pitman-Yor 혼합(PYM) 추정기가 시뮬레이션과 실제 신경 데이터에서 일치성과 뛰어난 성능을 보이는지 확인하는 것.

제안 방법

• 무한차원 이산 분포에 대한 사전으로 피트만-요르 과정(PYP)을 사용하며, 이는 딜레트 과정을 일반화하여 힘의 법칙 꼬리 행동을 允허한다.
• 딜레트 사전과 PYP 사전 하에서 엔트로피의 사후 평균과 분산에 대한 분석적 표현을 유도하여 효율적인 베이지안 추정을 가능하게 한다.
• PYP 초모수에 대한 연속적인 혼합 측도의 가족을 도입하여 엔트로피 위의 사전 분포를 평탄하게 만들며, 이로써 피트만-요르 혼합(PYM) 사전을 도출한다.
• 베타 함수와 감마 함수의 渐近 전개를 사용하여 표본 크기가 증가함에 따라 사후 모멘트의 극한 행동을 분석한다.
• 할인 매개변수 $d$와 집중 매개변수 $\alpha$에 대해 주변 우도(증거)의 단조성 정리를 적용하여 안정적인 추론을 보장한다.
• 시뮬레이션과 망막 기록에서의 실제 신경 데이터를 활용해 추정기를 검증하며, 기존의 표준 추정기들과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 모르거나 무한한 지지역간을 가진 이산 분포에 대해 엔트로피 위에 비정보적 사전을 갖는 베이지안 접근을 구성할 수 있는가?
• RQ2 수형이 부족한 영역에서 고정된 PYP 또는 딜레트 과정 사전이 엔트로피 추정에 어떤 영향을 미치며, 어떤 편향을 유도하는가?
• RQ3 PYP의 혼합을 구성하여 결과적으로 엔트로피 위의 주변 사전이 거의 평탄해지도록 만들 수 있는가?
• RQ4 제안된 PYM 사전 하에서 엔트로피의 사후 평균과 분산의 해석적 성질은 무엇인가?
• RQ5 결과적으로 도출된 PYM 엔트로피 추정기는 광범위한 기저 분포의 클래스에 대해 일치하는가?

주요 결과

• 딜레트 사전과 피트만-요르 과정 사전 하에서 엔트로피의 사후 평균과 분산은 해석적으로 계산 가능하며, 이는 효율적인 베이지안 추정을 가능하게 한다.
• 고정된 PYP 또는 딜레트 사전은 엔트로피 위에 좁은 사전 분포를 유도하여, 낮은 샘플 영역에서 강한 편향과 과신된 신뢰구간을 초래한다.
• 제안된 피트만-요르 혼합(PYM) 사전은 연속적인 혼합 측도를 통해 엔트로피 위에 거의 평탄한 사전 분포를 유도하여, 사전에 기인한 편향을 감소시킨다.
• PYM 추정기는 진정한 지지역이 유한하지만 알려져 있지 않은 경우에도 광범위한 이산 분포 클래스에 대해 일치한다.
• 시뮬레이션과 실제 신경 데이터에서 PYM 추정기는 편향과 평균 제곱 오차 측면에서 기존의 빈도주의 및 베이지안 추정기보다 뛰어난 성능을 보인다.
• 주변 우도(증거)는 할인 매개변수 $d$와 집중 매개변수 $\alpha$에 대해 단조성을 가지며, 이는 안정적인 최적화와 추론을 보장한다.