[논문 리뷰] Convergence and Monotonicity Problems in an Information-Theoretic Law of Small Numbers

Yaming Yu|arXiv (Cornell University)|2008. 10. 29.

Stochastic processes and statistical mechanics참고 문헌 24인용 수 1

한 줄 요약

이 논문은 초등수의 정보이론적 법칙에서 엔트로피와 상대엔트로피의 단조 수렴을 확립한다. 비율 λ를 가진 포아송 분포의 엔트로피로 수렴하는 확률질량함수의 희석된 합성분포의 엔트로피가 초등수의 정보이론적 법칙에서 단조 수렴함을 보여주며, 이는 초등수의 정보이론적 법칙에서 엔트로피와 상대엔트로피의 수렴과 단조성 행동을 분석한다. 결과들은 정보이론적 중심극한정리와 희석에 의한 포아송 근사 사이의 유사성을 확장하며, 볼록성, 주조성, 확률적 순서를 사용한다.

ABSTRACT

Abstract — A version of the law of small numbers is analyzed in information-theoretic terms. Specifically, let f = {fi, i = 0, 1,...} be a probability mass function (pmf) on nonnegative integers with mean λ < ∞. Denote the nth convolution of f by f ∗n and denote the α-thinning of f by Tα(f). Then, as n → ∞, the entropy H(T1/n(f ∗n)) tends to H(po(λ)), where po(λ) denotes the pmf of the Poisson distribution with mean λ, and the relative entropy D(T1/n(f ∗n)|po(λ)) tends to zero, if it ever becomes finite. Moreover, α −1 D(Tα(f)|po(αλ)) increases in α ∈ (0, 1), and n −1 D (f ∗n |po(nλ)) decreases in n = 1,2,.... It follows that D(T1/n(f ∗n)|po(λ)) decreases monotonically in n. Furthermore, assuming that f is ultra-log-concave (i.e., logconcave relative to the Poisson pmf), we show that H(T1/n(f ∗n)) increases monotonically in n. This is a discrete analogue of the monotonicity of entropy considered by Artstein et al. (2004). In general, our results extend the parallel between the informationtheoretic central limit theorem and the information-theoretic law of small numbers explored by Kontoyiannis et al. (2005) and Harremoës et al. (2007, 2008). Ingredients in the proofs include convexity, majorization, and stochastic orders. Possible refinements are also discussed. Index Terms — binomial distribution; convex order; logarithmic Sobolev inequality; majorization; Poisson approximation; relative entropy; Schur-concavity; stochastic orders; thinning; ultra-log-concavity. I.

연구 동기 및 목표

• 이산 정보이론적 초등수 법칙에서 엔트로피와 상대엔트로피의 수렴 및 단조성 행동을 분석한다.
• 정보이론적 중심극한정리와 희석에 의한 포아송 근사 사이의 기존 유사성을 확장한다.
• 비음수 정수 위의 분포에 대해 희석과 합성 연산에서 엔트로피와 상대엔트로피의 단조성 성질을 확립한다.
• 초등수의 로그볼록성의 역할이 포아송 분포로의 수렴 과정에서 엔트로피 증가를 보장하는 데 어떻게 기여하는지 조사한다.

제안 방법

• 비음수 정수 위의 확률질량함수 f에 대해 평균 λ를 가진 α-희석 연산자 Tα(f)를 분석한다.
• n번의 합성 f∗n과 정규화된 희석 T1/n(f∗n)을 사용하여 n → ∞ 일 때 포아송(λ)로의 수렴을 연구한다.
• 볼록성 이론, 주조성 이론, 확률적 순서(볼록 순서 및 확률적 순서 포함)를 활용하여 단조성을 증명한다.
• 수렴 행동을 추적하기 위해 상대엔트로피 D(T1/n(f∗n) || po(λ))와 엔트로피 H(T1/n(f∗n))를 핵심 기능으로 사용한다.
• 포아송 분포에 대한 슈르-볼록성과 로그볼록성의 성질을 활용하여 초등수의 로그볼록 조건 하에서 단조성을 도출한다.
• 희석 및 합성의 구조적 성질을 고려하여 로그-소보레프 부등식과 같은 정밀화를 고려한다.

실험 결과

연구 질문

• RQ1 f가 초등수의 로그볼록일 때, n에 대해 H(T1/n(f∗n))가 단조 증가하는가?
• RQ2 n이 증가함에 따라 상대엔트로피 D(T1/n(f∗n) || po(λ))가 단조 감소하는가?
• RQ3 α ∈ (0,1)에서 D(Tα(f) || po(αλ))의 행동은 단조성과 볼록성과 어떻게 관련되는가?
• RQ4 초등수의 로그볼록성이 포아송 근사로의 엔트로피 수렴 과정에서 단조 수렴을 보장하는 데 어떤 역할을 하는가?
• RQ5 확률적 순서와 주조성을 사용하여 엔트로피와 상대엔트로피의 수렴을 특성화할 수 있는가?

주요 결과

• 상대엔트로피 D(T1/n(f∗n) || po(λ))는 초기에 유한할 경우 n → ∞ 일 때 0으로 수렴한다.
• 일반적인 f 조건 하에서 상대엔트로피 D(T1/n(f∗n) || po(λ))는 n에 대해 단조 감소한다.
• f가 초등수의 로그볼록일 경우, 엔트로피 H(T1/n(f∗n))는 n에 대해 단조 증가하며, 아르스타인 등이 제시한 엔트로피 단조성의 이산적 유사성을 확립한다.
• α ∈ (0,1)에서 α⁻¹D(Tα(f) || po(αλ))는 증가하므로, 희석 매개변수에 대해 유사 볼록성 행동을 나타낸다.
• 정규화된 상대엔트로피 n⁻¹D(f∗n || po(nλ))는 n = 1,2,…에서 감소하므로, 포아송으로의 수렴 단조성에 대한 지지를 제공한다.
• 결과들은 볼록성, 주조성, 확률적 순서 이론을 사용하여 증명되었으며, 로그-소보레프 부등식을 통한 정밀화 가능성이 있다.