[论文解读] Information Inequalities for Joint Distributions, with Interpretations and Applications

Mokshay Madiman, Prasad Tetali|arXiv (Cornell University)|Dec 31, 2008

Wireless Communication Security Techniques参考文献 38被引用 4

一句话总结

本文利用子模函数理论，提出了一套统一的信息不等式框架，用于联合微分熵，推广了香农的链式法则、伴的不等式、藤崎的不等式以及希雷尔的不等式。通过分数覆盖和分数打包，建立了基于子集微分熵的联合微分熵的紧致上下界，其应用涵盖组合数学、矩阵行列式以及假设检验。

ABSTRACT

Upper and lower bounds are obtained for the joint entropy of a collection of random variables in terms of an arbitrary collection of subset joint entropies. These inequalities generalize Shannon's chain rule for entropy as well as inequalities of Han, Fujishige and Shearer. A duality between the upper and lower bounds for joint entropy is developed. All of these results are shown to be special cases of general, new results for submodular functions-- thus, the inequalities presented constitute a richly structured class of Shannon-type inequalities. The new inequalities are applied to obtain new results in combinatorics, such as bounds on the number of independent sets in an arbitrary graph and the number of zero-error source-channel codes, as well as new determinantal inequalities in matrix theory. A new inequality for relative entropies is also developed, along with interpretations in terms of hypothesis testing. Finally, revealing connections of the results to literature in economics, computer science, and physics are explored.

研究动机与目标

• 将经典的微分熵不等式（如香农的链式法则、伴的不等式、希雷尔引理）统一到一个单一、连贯的理论框架中。
• 基于任意子集集合，利用覆盖度与分数超图理论，建立联合微分熵的新紧致上下界。
• 证明这些不等式自然源于子模函数理论，从而统一了信息论与组合数学中的多种结果。
• 将推导出的不等式应用于组合数学（如独立集计数与零误差码）、矩阵行列式以及假设检验中的相对微分熵等新问题。
• 通过证明条件微分熵链式法则函数并非子模，阐明微分熵的结构性限制，从而揭示超越子模性的更深层约束。

提出的方法

• 利用超图建模联合微分熵不等式中的子集依赖关系，发展分数覆盖与分数打包方法。
• 提出一个子模集合函数的通用不等式，作为推导后续所有微分熵不等式的理论基础。
• 推导出两种主要形式：强分数形式与强度形式，推广了命题I中的弱度形式。
• 将通用子模不等式应用于微分熵函数，得到以 $ H(X_{[n]}) $ 为基准、基于 $ H(X_s) $ 与 $ H(X_s|X_{s^c}) $ 的加权边界，权重为子集度数。
• 利用上下界之间的对偶性，揭示微分熵不等式中的结构性对称性。
• 通过基于微分熵的计数方法，将结果应用于组合数学，例如图中独立集数量与零误差源-信道编码的边界估计。

实验结果

研究问题

• RQ1 能否将香农的链式法则、伴的不等式与希雷尔引理等经典微分熵不等式统一于单一理论框架之下？
• RQ2 对于任意子集集合，联合微分熵在子集微分熵表示下的最紧致上下界是什么？
• RQ3 分数超图覆盖与打包如何与信息论不等式及子模函数相关联？
• RQ4 微分熵函数在子模性之外可被何种方式表征？这对信息论边界有何影响？
• RQ5 从这些广义微分熵不等式中，可推导出哪些新的组合与矩阵理论结果？

主要发现

• 本文建立了一类新的信息不等式，其作为香农链式法则、伴的不等式与希雷尔引理的特例被自然推广。
• 揭示了联合微分熵上下界之间的对偶性，边界以子集集合中索引的最小与最大度数表示。
• 主不等式作为子模函数通用结果的推论得出，为统一且强大的理论基础提供了支持。
• 边界具有紧致性，适用于离散与连续（微分）微分熵，其中连续情形需使用分数划分。
• 所得结果导出了新的组合边界：例如，对任意图中独立集数量与零误差源-信道编码数量的边界估计。
• 提供了一个反例，表明条件微分熵链式法则函数 $ \bar{\tt e}(s) = H(X_s|X_{<s}) $ 并非子模，从而突显了子模逼近在微分熵中的局限性。