[论文解读] Extremal relations between shannon entropy and ℓ α -norm

Yuta Sakai, Ken‐ichi Iwata|arXiv (Cornell University)|Oct 1, 2016

Wireless Communication Security Techniques参考文献 16被引用 1

一句话总结

本文通过解析优化方法，推导出在 n ≤ 2 时 n 维概率向量的香农熵与 ℓα-范数之间的紧致边界，建立了二者之间的极值关系。该结果被应用于约束信息度量（如互信息和 Gallager 的可靠性函数 E₀）在均匀输入分布下的理论极限，为通信系统提供了紧致的理论边界。

ABSTRACT

The paper examines the relationships between the Shannon entropy and the l α -norm for n-dimensional probability vectors, n ≤ 2. More precisely, we investigate the sharp bounds on the l α -norm with a fixed Shannon entropy, and vice versa. As applications of the results, we derive the sharp bounds between the Shannon entropy and several information measures which are determined by the l α -norm. Moreover, we apply these results to uniformly focusing channels. Then, we show the sharp bounds on Gallager's reliability functions E 0 with a fixed mutual information under a uniform input distribution.

研究动机与目标

• 推导 n ≤ 2 时低维概率向量的香农熵与 ℓα-范数之间的紧致解析边界。
• 研究双向极值关系：固定香农熵时对 ℓα-范数的边界约束，反之亦然。
• 将这些边界应用于通过 ℓα-范数定义的信息度量，如互信息和 Gallager 的 E₀ 函数。
• 在均匀输入分布下，建立 Gallager 可靠性函数 E₀ 在互信息固定时的紧致边界。

提出的方法

• 使用变分优化技术，求解在香农熵约束下 ℓα-范数的极值。
• 采用拉格朗日乘子法与对称性分析，求解概率单纯形上的约束优化问题。
• 推导在给定熵水平下可实现的 ℓα-范数最小值与最大值的闭式表达式。
• 通过将信息论度量表示为 ℓα-范数的形式，应用所推导的边界。
• 分析均匀聚焦信道，以建模在均匀输入分布下的输入-输出行为。
• 利用香农熵与 ℓα-范数之间的对偶性，以互信息为基准约束 Gallager 的 E₀ 函数。

实验结果

研究问题

• RQ1 对于 n ≤ 2 的 n 维概率向量，给定香农熵时，ℓα-范数的最紧致上界与下界是什么？
• RQ2 ℓα-范数的极值如何约束香农熵的取值范围？
• RQ3 当输入分布为均匀分布时，这些边界对互信息有何影响？
• RQ4 ℓα-范数边界如何推广以表征在互信息固定时 Gallager 的可靠性函数 E₀？
• RQ5 在均匀聚焦信道中，香农熵与 ℓα-范数之间的最优权衡是什么？

主要发现

• 针对 n ≤ 2 的情况，推导出 ℓα-范数在香农熵函数下的紧致上下界，并给出显式解析表达式。
• ℓα-范数的极值出现在对称或边界概率向量上，具体取决于 α 的取值与熵的大小。
• 基于 ℓα-范数关系推导出的互信息边界是紧致的，且适用于均匀聚焦信道。
• 在均匀输入下，Gallager 的可靠性函数 E₀ 可通过互信息进行边界约束，其极值由香农熵-ℓα-范数对偶性显式导出。
• 结果表明，ℓα-范数在低维设置下是香农熵的强有力代理，可实现更紧致的信息论边界。
• 所推导的边界为最优边界，无法在无额外约束条件下进一步改进，该结论通过变分方法得到证明。