[论文解读] Discrete Stein characterizations and discrete information distances

Christophe Ley, Yvik Swan|arXiv (Cornell University)|Dec 30, 2011

Random Matrices and Applications参考文献 13被引用 7

一句话总结

本文提出了用于离散概率分布的两种新型Stein表征，建立了Stein算子与缩放离散Fisher信息等离散信息泛函之间的直接联系。利用这些信息度量，推导了在分布与Poisson目标之间总变差距离的界，改进了现有常数——特别是在Poisson近似情形下，将界常数从√2降低至√(2/e) ≈ 0.753。

ABSTRACT

We construct two different Stein characterizations of discrete distributions and use these to provide a natural connection between Stein characterizations for discrete distributions and discrete information functionals.

研究动机与目标

• 开发适用于离散分布的新Stein表征，将经典Stein方法框架扩展至离散情形。
• 建立离散Stein算子与信息论泛函（如缩放和离散Fisher信息）之间的正式联系。
• 利用这些信息度量，推导一般离散分布与Poisson目标之间总变差距离的新界。
• 通过利用从广义Fisher信息泛函导出的更紧常数，改进Poisson近似中的现有近似界。
• 通过灵活选择测试函数和密度，将该方法推广至Poisson以外的其他离散分布，包括复合Poisson分布和Gibbs测度。

提出的方法

• 提出一种基于前向差分算子的离散密度方法，定义表征目标分布p的Stein算子T₁(f,p)，通过零均值条件实现。
• 定义广义得分函数，并利用它们构建期望差与信息泛函之间的恒等式。
• 提出两种不同的Stein表征：一种基于前向差分（T₁），另一种基于后向差分（T₂），二者均与同一基础分布p相关联。
• 将表征应用于通过两种信息泛函（K₁：缩放Fisher信息；K₂：离散Fisher信息）推导总变差距离的界。
• 使用通过累积分布函数构造的测试函数f_z^p，通过零均值条件恢复目标分布的CDF。
• 利用Stein方程T₁(f_z^p, p)(x) = l_z(x)的结构，证明期望消失意味着给定支撑集的条件分布相等。

实验结果

研究问题

• RQ1 如何为在Z上具有支撑的任意离散分布系统地构造离散Stein表征？
• RQ2 离散Stein算子与信息论泛函（如缩放和离散Fisher信息）之间的精确关系是什么？
• RQ3 能否通过用从广义Fisher信息导出的常数替代经典常数，改进分布与Poisson目标之间总变差距离的界？
• RQ4 所提出的两个信息泛函K₁和K₂在文献中现有方法的基础上，是否能产生更紧或更具可解释性的界？
• RQ5 所提出的表征在多大程度上可推广至其他离散指数族，如Gibbs测度或Ord族分布？

主要发现

• 本文证明，i.i.d. Bernoulli(λ/n)随机变量之和与Poisson(λ)分布之间的总变差距离被界为√(2/e) ⋅ λ / √(n(n−λ)) + o(1)，优于先前工作中使用的√2界。
• 对于成功概率为q_i = n/(n+λ)的几何随机变量之和，总变差距离的界为√(2/(λe)) ⋅ √(∑(1−q_i)^3 / q_i^2)，相较于先前结果，常数因子得到改进。
• 广义Fisher信息泛函K₁的界常数被证明为√(2/e) ≈ 0.753，比文献中先前使用的√2常数更紧。
• 数值评估表明，对于中等λ和大n，第二个信息泛函K₂可能比K₁提供更好的收敛速率，特别是在q_i = n/(n+λ)时。
• 该方法可推广至Poisson近似以外的其他离散分布，包括Ord族中的分布和Gibbs测度，通过灵活选择测试函数和密度。
• 该框架允许使用相同的底层Stein恒等式结构，为任意两个‘良好’的离散分布构造广义信息距离。