[论文解读] An Information-Theoretic Perspective of the Poisson Approximation via the Chen-Stein Method

Igal Sason|arXiv (Cornell University)|Jun 28, 2012

Random Matrices and Applications参考文献 48被引用 11

一句话总结

本文采用信息论方法，结合Chen-Stein方法对泊松近似进行分析，推导出独立伯努利随机变量之和与泊松分布之间总变差距离、相对熵及相关散度的紧致上下界。通过改进的不等式与散度间关系，实现了比以往结果更精确且更具适用性的计算界。

ABSTRACT

The first part of this work considers the entropy of the sum of (possibly dependent and non-identically distributed) Bernoulli random variables. Upper bounds on the error that follows from an approximation of this entropy by the entropy of a Poisson random variable with the same mean are derived via the Chen-Stein method. The second part of this work derives new lower bounds on the total variation (TV) distance and relative entropy between the distribution of the sum of independent Bernoulli random variables and the Poisson distribution. The starting point of the derivation of the new bounds in the second part of this work is an introduction of a new lower bound on the total variation distance, whose derivation generalizes and refines the analysis by Barbour and Hall (1984), based on the Chen-Stein method for the Poisson approximation. A new lower bound on the relative entropy between these two distributions is introduced, and this lower bound is compared to a previously reported upper bound on the relative entropy by Kontoyiannis et al. (2005). The derivation of the new lower bound on the relative entropy follows from the new lower bound on the total variation distance, combined with a distribution-dependent refinement of Pinsker's inequality by Ordentlich and Weinberger (2005). Upper and lower bounds on the Bhattacharyya parameter, Chernoff information and Hellinger distance between the distribution of the sum of independent Bernoulli random variables and the Poisson distribution with the same mean are derived as well via some relations between these quantities with the total variation distance and the relative entropy. The analysis in this work combines elements of information theory with the Chen-Stein method for the Poisson approximation. The resulting bounds are easy to compute, and their applicability is exemplified.

研究动机与目标

• 推导出通过相同均值的泊松分布近似可能依赖的伯努利随机变量之和的熵时，误差的可计算上界。
• 建立独立伯努利变量之和分布与泊松分布之间总变差距离和相对熵的新下界。
• 通过Chen-Stein方法与信息论工具的结合，特别是对Barbour与Hall分析的推广，进一步优化现有界。
• 利用与总变差距离和相对熵的关系，推导出Bhattacharyya参数、Chernoff信息与Hellinger距离的紧致界。
• 提供一个统一框架，将信息论与Chen-Stein方法结合，用于泊松近似中误差量化的系统分析。

提出的方法

• 利用Chen-Stein方法分析伯努利随机变量之和的泊松近似误差，借助Poisson分布的Stein方程表征。
• 通过推广并改进Barbour与Hall（1984）的分析，推导出总变差距离的新下界，将他们结果中的因子1/32提升为更紧致的界。
• 通过结合新的总变差界与Ordentlich与Weinberger（2005）提出的Pinsker不等式的分布相关改进形式，推导出相对熵的新下界。
• 通过已知的信息论恒等式，建立Bhattacharyya参数、Chernoff信息、Hellinger距离与总变差距离及相对熵之间的关系。
• 应用Jensen不等式与对数界，推导出散度的紧致上下界，确保其可计算性与解析可处理性。
• 通过显式推导与先前结果（包括Kontoyiannis等人关于相对熵的上界）的对比，验证所提边界的有效性。

实验结果

研究问题

• RQ1 如何将Chen-Stein方法与信息论工具结合，以获得泊松近似误差的更紧致界？
• RQ2 独立伯努利变量之和与泊松分布之间的总变差距离的新下界是什么？与现有结果相比有何改进？
• RQ3 能否通过改进的Pinsker不等式版本与新的总变差界，推导出相对熵的新下界？
• RQ4 在泊松近似背景下，Bhattacharyya参数、Chernoff信息与Hellinger距离如何与总变差距离和相对熵相关联？
• RQ5 所推导边界的定量精度如何？与文献中已知的上界相比表现如何？

主要发现

• 推导出总变差距离的新下界，改进了Barbour与Hall结果中因子1/32的限制，新界在常数因子意义下为紧致。
• 本文建立了独立伯努利变量之和与泊松分布之间相对熵的新下界，与Kontoyiannis等人提出的上界对比，显示出更高的紧致性。
• 通过与Hellinger距离和总变差距离的关系，利用Jensen不等式与对数界推导出Bhattacharyya参数的显式不等式。
• 通过Bhattacharyya参数与Hellinger距离的关系，证明Chernoff信息满足以总变差距离为变量的下界。
• 所推导的边界具有可计算性且在实际中具有适用性，熵、相对熵与各类散度的误差边界均有显式表达式。
• 分析表明，总变差距离的上下界之比至多为32倍，而新边界通过更紧致的不等式进一步优化了该因子。