[论文解读] On the entropy and log-concavity of compound Poisson measures

Oliver Johnson, Ioannis Kontoyiannis+1 more|arXiv (Cornell University)|May 27, 2008

Analytic Number Theory Research参考文献 25被引用 12

一句话总结

本文研究复合泊松分布的最大微熵与对数凹性性质，证明在非负整数上的对数凹分布类中，复合泊松测度实现了最大微熵，类似于经典的泊松最大微熵性质。关键结果表明，复合分布与基础测度的对数凹性确保了最大微熵性质，若无此条件，该性质通常不成立。

ABSTRACT

Motivated, in part, by the desire to develop an information-theoretic foundation for compound Poisson approximation limit theorems (analogous to the corresponding developments for the central limit theorem and for simple Poisson approximation), this work examines sufficient conditions under which the compound Poisson distribution has maximal entropy within a natural class of probability measures on the nonnegative integers. We show that the natural analog of the Poisson maximum entropy property remains valid if the measures under consideration are log-concave, but that it fails in general. A parallel maximum entropy result is established for the family of compound binomial measures. The proofs are largely based on ideas related to the semigroup approach introduced in recent work by Johnson for the Poisson family. Sufficient conditions are given for compound distributions to be log-concave, and specific examples are presented illustrating all the above results.

研究动机与目标

• 为复合泊松近似定理建立信息论基础，类似于基于微熵的中心极限定理与泊松极限定理。
• 确定在何种条件下，复合泊松分布在其在非负整数上的自然离散分布类中实现最大微熵。
• 识别复合泊松与复合二项分布为对数凹性的充分条件，扩展已知的单峰性与稳定性结果。
• 将泊松分布的最大微熵性质推广至复合泊松情形，尤其在对数凹性约束下。
• 通过微熵最大化提供理解复合泊松极限定理中不确定性增长的理论框架。

提出的方法

• 使用 Johnson (2008) 提出的半群方法分析复合泊松测度的微熵性质。
• 应用对数凹性保持技术，特别是利用 [15, 定理 7.3] 中关于对数凹序列的二项式变换结果。
• 采用基于矩的界与下降阶乘矩不等式，分析复合分布的三阶矩。
• 通过卷积推导复合泊松质量函数的显式表达式：$ C_QP(x) = \sum_{y=0}^\infty P(y) Q^{*y}(x) $，其中 $ Q^{*y} $ 表示 $ Q $ 的 $ y $ 重卷积。
• 通过研究二阶差分 $ C_QP(x)^2 - C_QP(x-1)C_QP(x+1) $ 的符号来分析 $ C_QP $ 的对数凹性，尤其关注较小的 $ x $ 值。
• 利用伯努利和的极限论证，将最大微熵性质从二项分布推广至泊松分布，进而推广至复合泊松分布。

实验结果

研究问题

• RQ1 在 $ \mathbb{Z}_+ $ 上，当基础分布 $ P $ 与复合分布 $ Q $ 均为对数凹性且均值给定时，复合泊松分布何时在所有具有给定均值与对数凹性结构的分布中实现最大微熵？
• RQ2 当基础测度为对数凹性时，泊松分布的最大微熵性质是否可推广至复合泊松情形？
• RQ3 复合分布 $ C_QP $ 为对数凹性的条件是什么？这些条件涉及复合分布 $ Q $ 与基分布 $ P $。
• RQ4 当 $ Q $ 为对数凹性且 $ \lambda Q(1)^2 \geq 2Q(2) $ 时，复合泊松测度是否为对数凹性？
• RQ5 复合二项分布测度的最大微熵性质是否在与复合泊松情形类似的对数凹性假设下成立？

主要发现

• 当基础分布 $ P $ 与复合分布 $ Q $ 均为对数凹性时，复合泊松分布在其在 $ \mathbb{Z}_+ $ 上的对数凹分布类中实现最大微熵。
• 除非施加对数凹性条件，否则泊松分布的最大微熵性质在一般复合泊松测度中不成立。
• 对于几何复合分布 $ Q $，当 $ P $ 为对数凹性且满足条件 (29) 时，复合分布 $ C_QP $ 为对数凹性，该条件确保了在 $ x=1 $ 处二阶差分的非负性。
• 在对数凹性约束下，复合二项分布测度也满足类似于泊松情形的最大微熵性质。
• 提出一个猜想：若 $ Q $ 为对数凹性且 $ \lambda Q(1)^2 \geq 2Q(2) $，则复合泊松测度 $ \text{CPo}(\lambda, Q) $ 为对数凹性，且该条件对对数凹性是必要的。
• 通过小 $ x $ 值下二阶差分的显式计算提供了支持性证据，并将结果与已知条件（如 $ \{iQ(i)\} $ 递减）联系起来，后者意味着单峰性与复合泊松近似中的稳定性。