[论文解读] Maximum Entropy Functions: Approximate Gacs-Korner for Distributed Compression

Salman Salamatian, Asaf Cohen+1 more|arXiv (Cornell University)|Apr 13, 2016

Wireless Communication Security Techniques参考文献 11被引用 5

一句话总结

本文提出一种基于最大熵函数的分布式压缩方案，用于近似Gács-Körner公共信息，通过将相关源分解为公共部分和私有部分，实现高效的源编码。通过引入辅助节点以放宽严格的组合条件，该方法在辅助节点速率与源速率降低之间实现权衡，该权衡通过求解近似Gács-Körner优化问题形式化，利用谱图理论求解，并与最大相关性建立关联。

ABSTRACT

Consider two correlated sources $X$ and $Y$ generated from a joint distribution $p_{X,Y}$. Their Gács-Körner Common Information, a measure of common information that exploits the combinatorial structure of the distribution $p_{X,Y}$, leads to a source decomposition that exhibits the latent common parts in $X$ and $Y$. Using this source decomposition we construct an efficient distributed compression scheme, which can be efficiently used in the network setting as well. Then, we relax the combinatorial conditions on the source distribution, which results in an efficient scheme with a helper node, which can be thought of as a front-end cache. This relaxation leads to an inherent trade-off between the rate of the helper and the rate reduction at the sources, which we capture by a notion of optimal decomposition. We formulate this as an approximate Gács-Körner optimization. We then discuss properties of this optimization, and provide connections with the maximal correlation coefficient, as well as an efficient algorithm, both through the application of spectral graph theory to the induced bipartite graph of $p_{X,Y}$.

研究动机与目标

• 开发一种高效的分布式压缩方案，以利用相关源X和Y中的组合结构。
• 通过引入辅助节点，放宽Gács-Körner公共信息的严格一致条件，实现更广泛的应用。
• 通过最优分解框架，形式化辅助节点速率与源速率降低之间的速率权衡。
• 将优化问题与谱图理论及最大相关性系数关联，以实现高效计算。
• 提供一种实用且低复杂度的算法，通过奇异向量阈值化实现源分解。

提出的方法

• 使用函数φX和φY将X和Y映射到公共部分，提出Gács-Körner公共信息的松弛版本。
• 引入辅助节点以补偿φX和φY之间的差异，即使无法实现精确一致，也能实现速率降低。
• 在函数上定义优化问题，以实现最优分解，平衡辅助节点速率与源速率降低。
• 利用pX,Y的二部图表示的归一化拉普拉斯矩阵，推导与最大相关性相关的谱性质。
• 通过归一化拉普拉斯矩阵的第二小特征值ν，利用ν = 1 − ρ²m(X;Y)估计最大相关性系数。
• 对Q = D⁻¹/²PX,YD⁻¹/²的左、右奇异向量应用基于阈值的算法，以计算二值函数φX和φY。

实验结果

研究问题

• RQ1 如何放宽Gács-Körner公共信息的严格组合条件，以在分布式压缩中实现更广泛的应用？
• RQ2 辅助节点速率与源速率降低之间的最优权衡是什么？
• RQ3 谱图理论能否用于高效近似相关源的最优分解？
• RQ4 最大相关性系数与pX,Y的二部图的导出率和谱性质之间有何关系？
• RQ5 奇异向量阈值化在多大程度上能提供一种实用且有效的最优分解近似？

主要发现

• 归一化拉普拉斯矩阵的第二小特征值ν满足ν = 1 − ρ²m(X;Y)，将谱图理论与最大相关性联系起来。
• 当联合分布具有不相交分量时，最大相关性ρm(X;Y)等于1，且Gács-Körner公共信息H(K)非零。
• Gács-Körner公共信息的大小受H(K) ≤ log(m)限制，其中m是Q的SVD中奇异值1的重数。
• 所提出的奇异向量阈值化算法在存在不相交分量时，能有效识别二部图中的不相交分量。
• 该方法通过将源分解为公共部分和私有部分，由辅助节点补偿不匹配，实现分布式压缩中的速率降低。
• 优化框架揭示了辅助节点速率与源速率降低之间的权衡，形式化为近似Gács-Körner问题。