[论文解读] Brascamp-Lieb Inequality and Its Reverse: An Information Theoretic View

Jingbo Liu, Thomas A. Courtade+2 more|arXiv (Cornell University)|May 10, 2016

Wireless Communication Security Techniques参考文献 30被引用 7

一句话总结

本文通过将Carlen与Cordero-Erausquin的对偶性推广至包含随机变换（广播信道与多址接入信道）的框架，建立了Brascamp-Lieb（BL）不等式及其逆不等式之间的统一信息论对偶性。核心贡献是一个框架，用于证明BL型不等式的高斯最优性、张量化、凸性及数据处理性质，从而导出新结果，例如多变量Nelson超收缩定理，以及对高斯源的多变量Wyner公共信息的精确刻画。

ABSTRACT

We generalize a result by Carlen and Cordero-Erausquin on the equivalence between the Brascamp-Lieb inequality and the subadditivity of relative entropy by allowing for random transformations (a broadcast channel). This leads to a unified perspective on several functional inequalities that have been gaining popularity in the context of proving impossibility results. We demonstrate that the information theoretic dual of the Brascamp-Lieb inequality is a convenient setting for proving properties such as data processing, tensorization, convexity and Gaussian optimality. Consequences of the latter include an extension of the Brascamp-Lieb inequality allowing for Gaussian random transformations, the determination of the multivariate Wyner common information for Gaussian sources, and a multivariate version of Nelson's hypercontractivity theorem. Finally we present an information theoretic characterization of a reverse Brascamp-Lieb inequality involving a random transformation (a multiple access channel).

研究动机与目标

• 将Brascamp-Lieb不等式与相对熵次可加性之间的对偶性扩展至包含随机变换（广播信道）的情形，以增强其在信息论中的适用范围。
• 提供一个统一框架，用于证明泛函不等式中诸如数据处理、张量化、凸性及高斯最优性等性质。
• 通过多址接入信道（MAC）模型表征逆Brascamp-Lieb不等式，揭示在双射情形下原Barthe表述中的“sup”操作消失。
• 利用所提出的对偶性框架，确定高斯源的多变量Wyner公共信息。
• 通过BL不等式的对偶性，建立Nelson超收缩定理的多变量版本。

提出的方法

• 通过在BL不等式框架中允许非确定性变换（即广播信道），推广Carlen与Cordero-Erausquin的对偶性。
• 以相对熵的非负性及Donsker-Varadhan变分公式为核心技术工具，推导对偶性结果。
• 在有限字母表假设下，利用相对信息的分解性质证明逆对偶性，结合KKT条件与互补松弛性。
• 通过利用两个独立的随机变量若其和与差也独立，则它们联合为高斯分布的性质，建立高斯最优性。
• 通过多址接入信道（MAC）建模逆Brascamp-Lieb不等式，其中信道转移核定义变换关系。
• 运用耦合技术与相对熵最小化，证明泛函不等式与信息论约束之间的等价性。

实验结果

研究问题

• RQ1 Brascamp-Lieb不等式与相对熵次可加性之间的对偶性是否可扩展至包含随机（随机）变换的情形？
• RQ2 BL不等式的对偶性是否自然蕴含数据处理、张量化与凸性等性质？
• RQ3 能否利用该对偶性框架精确刻画高斯源的多变量Wyner公共信息？
• RQ4 当通过多址接入信道建模时，逆Brascamp-Lieb不等式如何推广？
• RQ5 在该信息论对偶框架下，高斯分布在线性泛函不等式极值问题中扮演何种角色？

主要发现

• 本文证明：对于协方差矩阵为$\mathbf{\Sigma}$的$m$个高斯标量随机变量，其多变量Wyner公共信息为$\frac{1}{2}\inf_{\bf\Lambda}\log\frac{|\mathbf{\Sigma}|}{|\bf\Lambda|}$，其中$\bf\Lambda$遍历所有满足$\bf\Lambda\preceq\Sigma$的对角矩阵。
• 作为信息论对偶性的结果，推导出Nelson超收缩定理的多变量版本，将经典结果推广至多变量情形。
• 通过多址接入信道重述逆Brascamp-Lieb不等式，当信道为双射时，Barthe原始表述中的“sup”操作消失。
• 当MAC退化为点对点信道时，强数据处理不等式作为广义逆Brascamp-Lieb不等式的特例被恢复。
• 在与BL不等式对偶相关的多个信息论优化问题中，包括公共信息与超收缩性，均确立了高斯最优性。
• 该框架证明：逆不等式中最佳常数由耦合与相对熵的优化表征，将Barthe的结果推广至随机信道情形。