[论文解读] Convergence and Monotonicity Problems in an Information-Theoretic Law of Small Numbers

Yaming Yu|arXiv (Cornell University)|Oct 29, 2008

Stochastic processes and statistical mechanics参考文献 24被引用 1

一句话总结

本文在信息论的泊松逼近小数律框架下，建立了熵与相对熵的单调收敛性，证明了在超对数凹条件下，概率质量函数经薄化卷积后的熵单调收敛于均值为λ的泊松分布熵。该结果拓展了信息论中心极限定理与通过薄化实现的泊松逼近之间的类比，利用凸性、优势关系及随机序理论。

ABSTRACT

Abstract — A version of the law of small numbers is analyzed in information-theoretic terms. Specifically, let f = {fi, i = 0, 1,...} be a probability mass function (pmf) on nonnegative integers with mean λ < ∞. Denote the nth convolution of f by f ∗n and denote the α-thinning of f by Tα(f). Then, as n → ∞, the entropy H(T1/n(f ∗n)) tends to H(po(λ)), where po(λ) denotes the pmf of the Poisson distribution with mean λ, and the relative entropy D(T1/n(f ∗n)|po(λ)) tends to zero, if it ever becomes finite. Moreover, α −1 D(Tα(f)|po(αλ)) increases in α ∈ (0, 1), and n −1 D (f ∗n |po(nλ)) decreases in n = 1,2,.... It follows that D(T1/n(f ∗n)|po(λ)) decreases monotonically in n. Furthermore, assuming that f is ultra-log-concave (i.e., logconcave relative to the Poisson pmf), we show that H(T1/n(f ∗n)) increases monotonically in n. This is a discrete analogue of the monotonicity of entropy considered by Artstein et al. (2004). In general, our results extend the parallel between the informationtheoretic central limit theorem and the information-theoretic law of small numbers explored by Kontoyiannis et al. (2005) and Harremoës et al. (2007, 2008). Ingredients in the proofs include convexity, majorization, and stochastic orders. Possible refinements are also discussed. Index Terms — binomial distribution; convex order; logarithmic Sobolev inequality; majorization; Poisson approximation; relative entropy; Schur-concavity; stochastic orders; thinning; ultra-log-concavity. I.

研究动机与目标

• 分析离散信息论小数律中熵与相对熵的收敛性与单调性行为。
• 拓展已知的信息论中心极限定理与通过薄化操作实现的泊松逼近之间的类比。
• 在非负整数上的分布上，建立薄化与卷积操作下熵与相对熵的单调性性质。
• 研究超对数凹性在确保熵向泊松极限收敛过程中单调增加的作用。

提出的方法

• 分析在具有有限均值λ的非负整数上定义的概率质量函数f上的α-薄化算子Tα(f)。
• 利用n重卷积f∗n与归一化薄化T1/n(f∗n)，研究当n → ∞时向Poisson(λ)的收敛性。
• 应用凸分析、优势关系理论及随机序（包括凸序与随机序）工具证明单调性。
• 将相对熵D(T1/n(f∗n) || po(λ))与熵H(T1/n(f∗n))作为关键泛函，追踪收敛行为。
• 利用相对于泊松分布的Schur-凹性与对数凹性，推导出在超对数凹条件下的单调性。
• 通过对数索博列夫不等式与薄化及卷积的结构性质进行细化。

实验结果

研究问题

• RQ1 当f为超对数凹时，熵H(T1/n(f∗n))是否随n单调递增？
• RQ2 随着n增加，相对熵D(T1/n(f∗n) || po(λ))是否单调递减？
• RQ3 在α ∈ (0,1)范围内，D(Tα(f) || po(αλ))的行为如何与单调性及凸性相关？
• RQ4 超对数凹性在确保熵向泊松极限单调收敛中起到何种作用？
• RQ5 能否通过随机序与优势关系刻画熵与相对熵的收敛性？

主要发现

• 当初始有限时，相对熵D(T1/n(f∗n) || po(λ))在n → ∞时趋于零。
• 在f的一般条件下，相对熵D(T1/n(f∗n) || po(λ))关于n单调递减。
• 当f为超对数凹时，熵H(T1/n(f∗n))关于n单调递增，从而建立了Artstein等人熵单调性结果的离散类比。
• 量α⁻¹D(Tα(f) || po(αλ))在α ∈ (0,1)上递增，表明在薄化参数上表现出类似凸性的行为。
• 归一化相对熵n⁻¹D(f∗n || po(nλ))关于n = 1,2,…递减，支持了向泊松分布收敛的单调性。
• 结果通过凸性、优势关系与随机序理论得以证明，潜在地可通过对数索博列夫不等式进行细化。