[论文解读] Information-Theoretic Perspectives on Brascamp-Lieb Inequality and Its Reverse

Jingbo Liu, Thomas A. Courtade+2 more|arXiv (Cornell University)|Feb 21, 2017

Point processes and geometric inequalities参考文献 66被引用 16

一句话总结

本文提出了一套统一的信息论框架，将Brascamp-Lieb不等式及其逆形式（Barthe不等式）统一起来，通过一种新颖的正向-反向不等式证明了其熵形式。该方法利用熵与Fisher信息技术，包括受Lieb启发的“加倍技巧”（doubling trick），建立了高斯最优性、数据处理性质及张量分解性质，从而在向量高斯信源编码和公共信息理论方面获得了新结果。

ABSTRACT

We introduce an inequality which may be viewed as a generalization of both the Brascamp-Lieb inequality and its reverse (Barthe's inequality), and prove its information-theoretic (i.e.\ entropic) formulation. This result leads to a unified approach to functional inequalities such as the variational formula of Rényi entropy, hypercontractivity and its reverse, strong data processing inequalities, and transportation-cost inequalities, whose utility in the proofs of various coding theorems has gained growing popularity recently. We show that our information-theoretic setting is convenient for proving properties such as data processing, tensorization, convexity (Riesz-Thorin interpolation) and Gaussian optimality. In particular, we elaborate on a "doubling trick" used by Lieb and Geng-Nair to prove several results on Gaussian optimality. Several applications are discussed, including a generalization of the Brascamp-Lieb inequality involving Gaussian random transformations, the determination of Wyner's common information of vector Gaussian sources, and the achievable rate region of certain key generation problems in the case of vector Gaussian sources.

研究动机与目标

• 将Brascamp-Lieb不等式及其逆形式（Barthe不等式）统一于单一的信息论框架之下。
• 建立一个正向-反向不等式，以统一框架捕捉经典与逆向函数不等式。
• 展示该框架在证明数据处理、张量分解、凸性（Riesz-Thorin插值）及高斯最优性等性质方面的实用性。
• 将该框架应用于信息论中的新问题，包括向量高斯源的Wyner公共信息以及密钥生成速率区域。

提出的方法

• 以微分熵和Fisher信息的形式引入一个关于微分熵和Fisher信息的一般正向-反向Brascamp-Lieb不等式。
• 利用“加倍技巧”——即高斯分布的旋转不变性——来证明该不等式中的高斯最优性。
• 利用弱收敛性与相对熵的下半连续性，处理具有有界二阶矩的分布序列的极限。
• 运用熵功率不等式与de Bruijn恒等式，建立在高斯扰动下微分熵与Fisher信息之间的联系。
• 利用高斯分布是在协方差约束下最大化学熵的事实，对极限中的熵项进行上界控制。
• 应用单调收敛定理与截断技术，控制协方差矩阵中迹项在极限过渡过程中的行为。

实验结果

研究问题

• RQ1 是否存在一个单一的信息论不等式，能够统一Brascamp-Lieb不等式及其逆形式？
• RQ2 Lieb的“加倍技巧”如何被推广以适用于一般正向-反向设定下的高斯最优性证明？
• RQ3 该统一框架对强数据处理不等式与超收缩性有何影响？
• RQ4 该框架能否确定向量高斯源下Wyner公共信息的精确值？
• RQ5 使用该方法，向量高斯源中的密钥生成可达速率区域是什么？

主要发现

• 当且仅当该正向-反向Brascamp-Lieb不等式对所有中心化的高斯函数成立时，该不等式成立，从而在统一框架下确立了高斯最优性。
• 该框架证明了：若随机向量序列的二阶矩有界，则其微分熵在弱收敛下是上半连续的，前提是协方差一致有界。
• 在统一协方差约束下，若一列随机向量弱收敛于一个高斯分布，则其熵的极限上界不超过极限高斯分布的熵。
• 该框架通过正向-反向不等式中的等式条件，实现了对向量高斯源下Wyner公共信息的确定。
• 通过所提出的不等式，向量高斯源中的密钥生成可达速率区域被表征，将先前结果推广至多变量设置。
• 采用‘加倍技巧’与弱收敛性的证明技术，为处理高维熵与协方差表达式中的非退化极限提供了稳健方法。