[论文解读] The Ruzsa divergence for random elements in locally compact abelian groups.

Mokshay Madiman, Ioannis Kontoyiannis|arXiv (Cornell University)|Aug 17, 2015

Wireless Communication Security Techniques被引用 3

一句话总结

本文引入Ruzsa散度作为关键工具，将随机变量和与差的熵不等式推广至一般的局部紧阿贝尔群，包括R^n和复乘法群。它建立了新的信息论不等式，例如对对数凹向量的反向熵幂不等式，以及Rogers-Shephard不等式的类比形式，并在矩阵行列式和复随机变量方面具有应用。

ABSTRACT

Over the past few years, a family of interesting new inequalities for the entropies of sums and differences of random variables has been developed by Ruzsa, Tao and others, motivated by analogous results in additive combinatorics. The present work extends these earlier results to the case of random variables taking values in $\mathbb{R}^n$ or, more generally, in arbitrary locally compact and Polish abelian groups. We isolate and study a key quantity, the Ruzsa divergence between two probability distributions, and we show that its properties can be used to extend the earlier inequalities to the present general setting. The new results established include several variations on the theme that the entropies of the sum and the difference of two independent random variables severely constrain each other. Although the setting is quite general, the result are already of interest (and new) for random vectors in $\mathbb{R}^n$. In that special case, quantitative bounds are provided for the stability of the equality conditions in the entropy power inequality; a reverse entropy power inequality for log-concave random vectors is proved; an information-theoretic analog of the Rogers-Shephard inequality for convex bodies is established; and it is observed that some of these results lead to new inequalities for the determinants of positive-definite matrices. Moreover, by considering the multiplicative subgroups of the complex plane, one obtains new inequalities for the differential entropies of products and ratios of nonzero, complex-valued random variables.

研究动机与目标

• 将Ruzsa和Tao在离散和欧几里得设定下的熵不等式推广至一般的局部紧阿贝尔群。
• 定义并研究Ruzsa散度，作为在此一般设定下分析概率分布之间依赖关系的核心量。
• 在该推广框架下，建立独立随机变量和与差的熵之间的新不等式。
• 在R^n中推导熵幂不等式的定量稳定性界，并获得对对数凹向量的新反向形式。
• 通过复平面上的乘法子群，探索在复随机变量和正定矩阵中的应用。

提出的方法

• 将Ruzsa散度引入为局部紧阿贝尔群上两个概率分布之间分离程度的度量。
• 利用Ruzsa散度的性质，推导控制独立随机变量和与差的熵的不等式。
• 将该框架应用于R^n，以获得熵幂不等式的定量稳定性界。
• 通过Ruzsa散度框架，证明对对数凹随机向量的反向熵幂不等式。
• 通过基于熵的对偶性，建立凸体的Rogers-Shephard不等式的类比信息论形式。
• 分析复平面的乘法子群，推导复随机变量乘积与比值的微分熵新不等式。

实验结果

研究问题

• RQ1 Ruzsa的熵不等式如何能超越阿贝尔群，推广至任意局部紧阿贝尔群？
• RQ2 Ruzsa散度在刻画独立随机变量和与差的熵之间关系方面发挥什么作用？
• RQ3 能否利用该框架对R^n中熵幂不等式的等式条件进行定量稳定化？
• RQ4 在微分熵语境下，Rogers-Shephard等几何不等式的类比信息论形式是什么？
• RQ5 复值随机变量的乘积与比值的微分熵中，会涌现出哪些新不等式？

主要发现

• 为R^n中的对数凹随机向量建立了反向熵幂不等式，为和的熵提供了新的下界。
• 推导了熵幂不等式等式情形的定量稳定性界，表明和与差的熵在多大程度上接近时等式几乎成立。
• 证明了Rogers-Shephard不等式的类比信息论形式，将随机向量的熵与其对偶集或差集的熵联系起来。
• 该框架通过R^n中的基于熵的对偶性，为正定矩阵的行列式导出新不等式。
• 对于复值随机变量，通过分析复平面的乘法子群，推导出乘积与比值的微分熵新不等式。
• 证明Ruzsa散度是统一和推广不同代数与分析设定下熵不等式的一种强大工具。