[论文解读] Local Pinsker inequalities via Stein's discrete density approach

Christophe Ley, Yvik Swan|arXiv (Cornell University)|Nov 15, 2012

Random Matrices and Applications参考文献 30被引用 4

一句话总结

本文引入了广义离散费雪信息距离，记为 $\mathcal{J}(X,Y)$，基于一种新颖的 Stein 算子框架，用于离散分布。证明了这些距离支配总变差距离的平方，从而建立了改进常数的局部 Pinsker 型不等式，优于现有结果。

ABSTRACT

Pinsker's inequality states that the relative entropy $d_{\mathrm{KL}}(X, Y)$ between two random variables $X$ and $Y$ dominates the square of the total variation distance $d_{\mathrm{TV}}(X,Y)$ between $X$ and $Y$. In this paper we introduce generalized Fisher information distances $\mathcal{J}(X, Y)$ between discrete distributions $X$ and $Y$ and prove that these also dominate the square of the total variation distance. To this end we introduce a general discrete Stein operator for which we prove a useful covariance identity. We illustrate our approach with several examples. Whenever competitor inequalities are available in the literature, the constants in ours are at least as good, and, in several cases, better.

研究动机与目标

• 开发一种基于 Stein 方法的离散概率中局部 Pinsker 不等式的通用框架。
• 定义广义离散费雪信息距离 $\mathcal{J}(X,Y)$，以量化离散分布 $X$ 和 $Y$ 之间的差异。
• 为一种新的离散 Stein 算子建立协方差恒等式，从而实现信息论不等式的推导。
• 通过在局部 Pinsker 不等式中提供更紧的常数，改进文献中已有的边界。
• 统一并推广现有的离散信息距离方法，包括基于泊松和二项分布目标的方法。

提出的方法

• 引入一种适用于任意目标分布 $p$ 的通用离散 Stein 算子，通过 $\mathcal{F}^\eta(p)$ 中函数的前向与后向算子定义。
• 推导出一个关键协方差恒等式，将 Stein 算子与广义费雪信息距离 $\mathcal{J}(X,Y) = \mathbb{E}_q[(r(p,q)(Y))^2]$ 关联起来，其中 $r(p,q)$ 是一个类似得分的泛函。
• 将该框架应用于具体分布：泊松、二项、负超几何分布以及吉布斯测度，推导出 Stein 算子的显式形式。
• 证明 $\mathcal{J}(X,Y) \geq 0$，且当且仅当 $X \stackrel{\mathcal{L}}{=} Y$ 时等号成立，确保该泛函作为适当的差异度量。
• 利用协方差恒等式证明 $d_{\mathrm{TV}}(X,Y) \leq \kappa \sqrt{\mathcal{J}(X,Y)}$，即局部 Pinsker 不等式，其中 $\kappa$ 仅依赖于目标分布 $p$。
• 通过实例验证该框架，表明不等式中推导出的常数至少与现有文献相当，且在多数情况下更优。

实验结果

研究问题

• RQ1 能否构造一种通用的离散 Stein 算子，以生成支配任意离散分布总变差的费雪型信息距离？
• RQ2 由此产生的广义费雪信息距离 $\mathcal{J}(X,Y)$ 是否满足一个局部 Pinsker 不等式，且存在仅依赖于目标分布的通用常数 $\kappa$？
• RQ3 所推导的局部 Pinsker 不等式中的常数与现有文献中针对泊松、二项分布及其他离散目标的常数相比如何？
• RQ4 该框架能否通过统一的算子构造，系统地应用于指数族及其他离散指数族？
• RQ5 协方差恒等式在连接离散设定下的 Stein 算子与信息论分歧度量方面起什么作用？

主要发现

• 广义费雪信息距离 $\mathcal{J}(X,Y)$ 通过一种新的离散 Stein 算子定义，且满足 $\mathcal{J}(X,Y) \geq 0$，当且仅当 $X \stackrel{\mathcal{L}}{=} Y$ 时等号成立。
• 本文证明了局部 Pinsker 不等式：$d_{\mathrm{TV}}(X,Y) \leq \kappa \sqrt{\mathcal{J}(X,Y)}$，其中 $\kappa$ 仅依赖于目标分布 $p$。
• 对于泊松目标，不等式中推导出的常数至少与现有方法（使用 $\mathcal{K}(Po(\lambda),Y)$ 或 $\mathcal{J}(Po(\lambda),Y)$）相当，且在若干情况下更优。
• 该框架被应用于多种离散分布，包括二项、负超几何分布及吉布斯测度，推导出 Stein 算子的显式形式及其对应的信息距离。
• 为离散 Stein 算子推导出的协方差恒等式，使得局部 Pinsker 不等式能够以统一且通用的方式推导。
• 该方法通过采用更精细的得分函数构造，改进了文献中已知的边界，特别是在乘法常数 $\kappa$ 方面。