[论文解读] Linear Bounds between Contraction Coefficients for $f$-Divergences

Anuran Makur, Lizhong Zheng|arXiv (Cornell University)|Oct 7, 2015

Wireless Communication Security Techniques参考文献 47被引用 12

一句话总结

本文建立了在χ²-分歧收缩系数表示下，一类f-分歧的收缩系数的线性上界，并证明在特定条件下这些上界是紧致的。此外，本文进一步表明，对于加性高斯噪声下的高斯源，KL与χ²-分歧的收缩系数相等，并将‘较不噪声’信道序的等价性推广至所有非线性算子凸f-分歧。

ABSTRACT

Data processing inequalities for $f$-divergences can be sharpened using constants called "contraction coefficients" to produce strong data processing inequalities. For any discrete source-channel pair, the contraction coefficients for $f$-divergences are lower bounded by the contraction coefficient for $χ^2$-divergence. In this paper, we elucidate that this lower bound can be achieved by driving the input $f$-divergences of the contraction coefficients to zero. Then, we establish a linear upper bound on the contraction coefficients for a certain class of $f$-divergences using the contraction coefficient for $χ^2$-divergence, and refine this upper bound for the salient special case of Kullback-Leibler (KL) divergence. Furthermore, we present an alternative proof of the fact that the contraction coefficients for KL and $χ^2$-divergences are equal for a Gaussian source with an additive Gaussian noise channel (where the former coefficient can be power constrained). Finally, we generalize the well-known result that contraction coefficients of channels (after extremizing over all possible sources) for all $f$-divergences with non-linear operator convex $f$ are equal. In particular, we prove that the so called "less noisy" preorder over channels can be equivalently characterized by any non-linear operator convex $f$-divergence.

研究动机与目标

• 建立f-分歧收缩系数与χ²-分歧系数之间的线性上界。
• 针对Kullback-Leibler（KL）分歧，进一步优化这些上界。
• 证明在加性高斯噪声信道下，高斯源的KL与χ²-分歧收缩系数相等。
• 将所有非线性算子凸f-分歧的‘较不噪声’信道序的等价性推广。

提出的方法

• 使用二阶泰勒展开和凸性性质，推导f-分歧与χ²-分歧之间的界。
• 利用负香农熵函数的强凸性，通过总变差的二次项，从下方界定KL分歧。
• 运用张量化技术，将界推广至乘积空间和马尔可夫链。
• 利用凸分析和Bregman分歧性质，证明在高斯设定下KL与χ²-分歧的等价性。
• 通过‘较不噪声’序证明非线性算子凸f-分歧的收缩系数相等，推广已知结果。
• 利用负熵函数的Hessian矩阵，推导出KL分歧关于χ²-分歧的下界。

实验结果

研究问题

• RQ1 f-分歧的收缩系数能否以χ²-分歧系数的线性函数形式进行上界界定？
• RQ2 KL分歧关于χ²系数的最紧致线性上界是什么？
• RQ3 在加性高斯噪声信道下，KL与χ²-分歧的收缩系数是否相等？
• RQ4 是否能通过任意非线性算子凸f-分歧等价地刻画信道的‘较不噪声’序？
• RQ5 当输入f-分歧趋近于零时，χ²-分歧系数对收缩系数的下界是否变得紧致？

主要发现

• 所考虑类别的任意f-分歧的收缩系数，其上界为χ²-分歧系数的线性函数。
• 对于KL分歧，上界得到优化，并在特定条件下被证明是紧致的。
• 在加性高斯噪声信道下，高斯源的KL与χ²-分歧收缩系数相等。
• 当输入f-分歧趋近于零时，χ²-分歧系数对收缩系数的下界在极限下被达到。
• 当通过任意非线性算子凸f-分歧定义时，信道的‘较不噪声’序是等价的。
• 利用负香农熵的强凸性，推导出KL分歧关于χ²-分歧的二次下界。