[논문 리뷰] Asymptotic behaviour of weighted differential entropies in a Bayesian problem

Mark Kelbert, Pavel Mozgunov|arXiv (Cornell University)|2015. 04. 07.

Statistical Mechanics and Entropy참고 문헌 5인용 수 4

한 줄 요약

이 논문은 베타 사후분포를 가진 베이지안 이항모형에서 가중치가 부여된 미분 엔트로피의 점근적 행동을 조사한다. 대표본 조건 하에서 성공 수가 시행 수와 선형 또는 선형 이하로 증가할 경우, 사후분포의 미분 엔트로피는 정규분포의 엔트로피로 수렴함을 보여준다. 고전적 정보이론 부등식(Rao-Cramér, Bhattacharyya, Kullback)의 가중치 버전을 유도하여, 특정 빈도(예: p=0.5에서의 공정성)를 강조하는 가중치가 이러한 부등식의 점근적 형태에서 상수만을 수정할 뿐 기본적인 구조에는 영향을 주지 않는다는 것을 밝힌다.

ABSTRACT

We consider a Bayesian problem of estimating of probability of success in a series of conditionally independent trials with binary outcomes. We study the asymptotic behaviour of differential entropy for posterior probability density function conditional on $x$ successes after $n$ conditionally independent trials, when $n o \infty$. It is shown that after an appropriate normalization in cases $x \sim n$ and $x$ $\sim n^β$ ($0

연구 동기 및 목표

• 이항 시행에서 균일한 사전분포를 가진 베이지안 모형에서 사후분포의 미분 엔트로피의 점근적 행동을 분석하는 것.
• 고전적 정보이론적 부등식(Rao-Cramér, Bhattacharyya, Kullback)을 가중치가 부여된 미분 엔트로피 프레임워크로 확장하는 것.
• 특정 파ram터 값(예: p=0.5)을 강조하는 가중함수의 영향을 샤논, 레니, 츠allis, 피셔 엔트로피의 점근적 형태에 대해 정량화하는 것.
• 성공 수의 다양한 스케일링 규모(x ~ n, x ~ n^β, x = constant)에서 가중치가 부여된 정보이론 부등식의 점근적 행동을 도출하고 분석하는 것.

제안 방법

• n번 시행 중 x번 성공한 후 성공 확률에 대한 사후분포로 베타 분포 f_{p|S_n}(p|x) = (n+1) * C(n,x) * p^x * (1-p)^{n-x} 를 사용한다.
• 표준화된 사후분포를 얻기 위해 선형 변환을 적용하고, 미분 엔트로피 변환 법칙 h_d(g) = h_d(f) + log d_1 을 사용한다.
• Laplace의 방법과 초함수 근사법을 사용하여 세 가지 규모에서의 점근적 전개를 유도한다: x ~ αn, x ~ n^β (0 < β < 1), x = constant.
• 목표 빈도 γ(예: γ=0.5)를 강조하기 위해 가중함수 φ^{(n)}(p) = p^{γ√n}(1-p)^{(1-γ)√n}/κ(ρ,γ) 를 도입하고, 가중 모멘트 생성 함수를 유도한다.
• 가중 피셔 정보와 가중 누산 생성 함수를 사용하여 가중 Cramér-Rao, Bhattacharyya, Kullback 부등식을 적용한다.
• 구형 초함수와 점근적 급수 전개(1F1)를 사용하여 가중 Kullback 발산과 정보 경계의 주요 항을 유도한다.

실험 결과

연구 질문

• RQ1 성공 수 x가 n과 선형으로 증가할 때, 사후 베타분포의 미분 엔트로피는 점근적으로 어떻게 행동하는가?
• RQ2 특정 빈도(예: p=0.5)를 강조하는 가중함수를 사용할 경우, 샤논, 레니, 츠allis, 피셔 엔트로피의 점근적 형태는 어떻게 되는가?
• RQ3 특정 파aram터 값(예: p=0.5)을 강조하는 함수로 가중치를 부여할 경우, 고전적 정보이론 부등식(Rao-Cramér, Bhattacharyya, Kullback)은 어떻게 변화하는가?
• RQ4 진짜 성공 확률가 강조된 값에 가까울 때, 두 사후분포 간의 가중 Kullback 발산의 주요 점근적 행동은 무엇인가?

주요 결과

• x ~ αn 이며 0 < α < 1 이면, 표준화된 사후분포는 정규분포로 수렴하고, 미분 엔트로피는 h_d(φ) = (1/2)log(2πe) 로 수렴한다.
• x ~ n^β 이며 0 < β < 1 이면, 극한 분포 역시 정규분포이며, 선형 경우와 동일한 정규분포 엔트로피 값으로 수렴한다.
• x 또는 n−x 가 상수이면 극한 분포는 비정규분포이지만, 점근적 미분 엔트로피는 여전히 명시적으로 계산 가능하며 정규분포 경우와 다를 수 있다.
• 가중함수 φ^{(n)}(p) 는 모든 엔트로피(샤논, 레니, 츠allis, 피셔)의 점근적 형태에서 상수만을 수정하지만, 주요 구조에는 영향을 주지 않는다.
• 가중 피셔 정보의 주요 항은 진짜 빈도와 강조된 값 γ 사이의 거리에 따라 결정되는 상수에 의해 수정된다.
• 가중 Kullback 부등식은 하한 K^φ(f_α||f_ρ) ≥ (ε²(1+√n−n)²)/(2(1−α)αn) + O(1) 을 제공하며, lim_{ε→0} (1/ε²)K^φ(f_α||f_ρ) = (1/2)I(f_α) ≥ n/(2α(1−α)) − √n/(α(1−α)) + O(1) 이다.