[논문 리뷰] An Information-Theoretic Perspective of the Poisson Approximation via the Chen-Stein Method

Igal Sason|arXiv (Cornell University)|2012. 06. 28.

Random Matrices and Applications참고 문헌 48인용 수 11

한 줄 요약

이 논문은 첸-스타인 방법을 사용하여 포아송 근사에 대한 정보이론적 분석을 제시하며, 독립적인 베르누이 랜덤 변수의 합과 포아송 분포 사이의 전체 변화 거리, 상대 엔트로피, 관련된 분산에 대한 날카러운 상한과 하한을 유도한다. 더욱 정교한 부등식과 분산 간의 관계를 통해 기존 결과보다 정확도와 적용 가능성 면에서 향상된 계산 가능한 경계를 수립한다.

ABSTRACT

The first part of this work considers the entropy of the sum of (possibly dependent and non-identically distributed) Bernoulli random variables. Upper bounds on the error that follows from an approximation of this entropy by the entropy of a Poisson random variable with the same mean are derived via the Chen-Stein method. The second part of this work derives new lower bounds on the total variation (TV) distance and relative entropy between the distribution of the sum of independent Bernoulli random variables and the Poisson distribution. The starting point of the derivation of the new bounds in the second part of this work is an introduction of a new lower bound on the total variation distance, whose derivation generalizes and refines the analysis by Barbour and Hall (1984), based on the Chen-Stein method for the Poisson approximation. A new lower bound on the relative entropy between these two distributions is introduced, and this lower bound is compared to a previously reported upper bound on the relative entropy by Kontoyiannis et al. (2005). The derivation of the new lower bound on the relative entropy follows from the new lower bound on the total variation distance, combined with a distribution-dependent refinement of Pinsker's inequality by Ordentlich and Weinberger (2005). Upper and lower bounds on the Bhattacharyya parameter, Chernoff information and Hellinger distance between the distribution of the sum of independent Bernoulli random variables and the Poisson distribution with the same mean are derived as well via some relations between these quantities with the total variation distance and the relative entropy. The analysis in this work combines elements of information theory with the Chen-Stein method for the Poisson approximation. The resulting bounds are easy to compute, and their applicability is exemplified.

연구 동기 및 목표

• 같은 평균을 가진 포아송 분포의 엔트로피로 가능한 의존성을 가진 베르누이 랜덤 변수의 합의 엔트로피를 근사할 때의 오차에 대한 계산 가능한 상한을 도출하는 것.
• 독립적인 베르누이 변수의 분포와 포아송 분포 사이의 총 변화 거리와 상대 엔트로피에 대한 새로운 하한을 설정하는 것.
• 첸-스타인 방법과 정보이론적 도구를 활용하여 기존 경계를 정교화하고, 특히 바르부어와 홀의 분석을 일반화하는 것.
• 총 변화 거리와 상대 엔트로피와의 관계를 통해 바타카리아 매개수, 초르노프 정보, 헬링거 거리에 대한 날카러운 경계를 도출하는 것.
• 오차 정량화를 위한 포아송 근사에서 정보이론과 첸-스타인 방법을 통합하는 프레임워크를 제공하는 것.

제안 방법

• 포아송 분포의 스틴 방정식을 활용하여, 독립적인 베르누이 랜덤 변수의 합에 대한 포아송 근사 오차를 분석하기 위해 첸-스타인 방법을 사용한다.
• 바르부어와 홀(1984)의 분석을 일반화하고 정교화하여 총 변화 거리에 대한 새로운 하한을 도출하며, 그들의 1/32 요소를 더 날카로운 경계로 개선한다.
• 오르두리치와 와인버거(2005)의 학습에 의존하는 학습 분포에 따라 조정된 학습의 부등식을 결합하여 상대 엔트로피에 대한 새로운 하한을 도출한다.
• 기존의 정보이론적 항등식을 통해 바타카리아 매개수, 초르노프 정보, 헬링거 거리와 총 변화 거리 및 상대 엔트로피 간의 관계를 수립한다.
• 제닝스 부등식과 로그 부등식을 적용하여 분산에 대한 날카로운 상한과 하한을 도출하며, 계산 가능성과 해석 가능성 보장.
• 기존 결과와의 비교를 포함한 명시적 유도를 통해 경계의 타당성을 검증하며, 커토요안니스 등이 제시한 상대 엔트로피에 대한 상한과 비교한다.

실험 결과

연구 질문

• RQ1 첸-스타인 방법과 정보이론적 도구를 어떻게 조합하여 포아송 근사 오차에 대한 더 날카로운 경계를 도출할 수 있는가?
• RQ2 독립적인 베르누이 변수의 합과 포아송 분포 사이의 총 변화 거리에 대한 새로운 하한은 무엇이며, 이는 기존 결과보다 어떻게 향상되는가?
• RQ3 정교화된 학습의 부등식과 새로운 총 변화 거리 경계를 사용하여 상대 엔트로피에 대한 새로운 하한을 도출할 수 있는가?
• RQ4 바타카리아 매개수, 초르노프 정보, 헬링거 거리는 포아송 근사의 맥락에서 총 변화 거리와 상대 엔트로피와 어떻게 관련되어 있는가?
• RQ5 유도된 경계의 정량적 정확도는 무엇이며, 문헌에 알려진 상한과 비교해 볼 때 어떻게 되는가?

주요 결과

• 총 변화 거리에 대한 새로운 하한이 도출되었으며, 바르부어와 홀의 결과에서 1/32 요소를 개선하여 상수 요소까지 고려한 날카로운 경계를 확보하였다.
• 독립적인 베르누이 변수의 합과 포아송 분포 사이의 상대 엔트로피에 대한 새로운 하한이 수립되었으며, 커토요안니스 등이 제시한 상한과 비교하여 더 날카로운 경계임을 확인하였다.
• 제닝스 부등식과 로그 부등식을 통해 헬링거 거리 및 총 변화 거리와의 관계를 이용하여 바타카리아 매개수를 경계하였다.
• 초르노프 정보가 바타카리아 매개수와 헬링거 거리 관계를 통해 총 변화 거리에 대한 하한을 만족함을 보였다.
• 유도된 경계는 계산 가능하며 실용적으로 적용 가능하며, 엔트로피, 상대 엔트로피, 분산에 대한 오차 경계의 명시적 표현을 제공한다.
• 총 변화 거리의 상한과 하한이 최대 32배 이내로 다를 뿐이며, 새로운 경계는 더 날카로운 부등식을 통해 이 요소를 정교화한다.