[论文解读] An entropy inequality for symmetric random variables
本文在对称随机变量加权和的微分熵方面建立了新的下界，该下界以它们的联合熵表示。通过运用对称性和几何分析，证明了当 n ≥ 3 时，该下界在且仅在随机变量为独立同分布高斯分布时达到紧致；当 n = 2 时，等式在更多非高斯情况下成立，这些情况被完全刻画。该结果可推广至线性变换，并提供了一类新的熵不等式，将联合熵与方向熵联系起来。
We establish a lower bound on the entropy of weighted sums of (possibly dependent) random variables $(X_1, X_2, \dots, X_n)$ possessing a symmetric joint distribution. Our lower bound is in terms of the joint entropy of $(X_1, X_2, \dots, X_n)$. We show that for $n \geq 3$, the lower bound is tight if and only if $X_i$'s are i.i.d.\ Gaussian random variables. For $n=2$ there are numerous other cases of equality apart from i.i.d.\ Gaussians, which we completely characterize. Going beyond sums, we also present an inequality for certain linear transformations of $(X_1, \dots, X_n)$. Our primary technical contribution lies in the analysis of the equality cases, and our approach relies on the geometry and the symmetry of the problem.
研究动机与目标
- 建立对称随机变量加权和的熵的下界，以它们的联合熵表示。
- 刻画该下界等式成立的情形，特别是针对 n = 2 和 n ≥ 3 的情况。
- 将该不等式推广至对称随机向量的一般线性变换。
- 解决关于对称分布与对数凹分布中熵最大方向的开放问题。
- 提供一种基于几何与对称性的方法，用于分析熵不等式中等式成立的情形。
提出的方法
- 作者利用随机变量联合分布的对称性，推导出密度函数的结构约束。
- 他们应用几何与变分技术分析熵不等式等式成立的情形。
- 证明依赖于对得分函数及其在对称性下的正交性分析，利用引理 A.4 证明交叉导数项消失。
- 关键步骤包括在对称性下将密度函数分解为边缘与条件部分，从而得出条件独立性结果。
- 该方法使用特征函数与条件独立性论证（引理 A.5 和 A.6），从矩条件推导出分布性质。
- 通过正交矩阵将分析扩展至线性变换，利用不等式 (4) 将方向熵与联合熵联系起来。
实验结果
研究问题
- RQ1对于对称随机向量，其和的熵在联合熵表示下，最紧致的下界是什么？
- RQ2该熵不等式的等式在何时成立，特别是针对 n = 2 和 n ≥ 3 的情形？
- RQ3方向 (1,1,…,1)/√n 是否是对称分布与对数凹分布的熵最大方向？
- RQ4能否通过对称分布的方向熵界刻画中心极限定理中熵的单调性？
- RQ5当 n = 2 时，除了独立同分布高斯分布外，该熵不等式的完整等式情形是什么？
主要发现
- 当 n ≥ 3 时，熵下界在且仅在对称随机变量为独立同分布高斯分布时达到紧致。
- 当 n = 2 时，等式不仅在独立同分布高斯分布下成立，也在更广泛的对称分布类中成立，本文对这些分布类进行了完全刻画。
- 对归一化和 ∑Xi/√n 的熵下界为 h(X)/n，其中 h(X) 为联合微分熵。
- 对任一单位向量 a，方向熵 h(a·X) 满足 h(a·X) ≥ h(X)/n + log(n^{n/2} ∏ai)，该式在方向 (1,…,1)/√n 处取最大值。
- 该不等式无需假设 Xi 之间的独立性，因此与经典熵功率不等式相区别。
- 该结果提供了一类新的熵不等式，明确将联合熵与线性组合的熵联系起来，具有方向熵最大化等应用。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。