[论文解读] Renyi extrapolation of Shannon entropy

Karol Życzkowski|ArXiv.org|May 12, 2003

Quantum Information and Cryptography参考文献 12被引用 13

一句话总结

本文提出了基于 Rényi 熵（二阶与三阶）和已知概率向量长度 $N$ 的香农熵的界限及显式外推公式。该方法可在仅获得 $H_2$ 和 $H_3$ 的情况下实现香农熵的估计，相较于仅使用界限的方法，显著提升了精度，尤其适用于全概率分布不可获取的量子信息与统计物理场景。

ABSTRACT

Relations between Shannon entropy and Renyi entropies of integer order are discussed. For any N-point discrete probability distribution for which the Renyi entropies of order two and three are known, we provide an lower and an upper bound for the Shannon entropy. The average of both bounds provide an explicit extrapolation for this quantity. These results imply relations between the von Neumann entropy of a mixed quantum state, its linear entropy and traces.

研究动机与目标

• 当已知离散概率分布的长度 $N$ 时，推导仅基于 Rényi 熵 $H_2$ 和 $H_3$ 的香农熵 $H_1$ 的下界与上界。
• 基于 $H_2$ 和 $H_3$ 提出 $H_1$ 的显式外推公式，优于仅使用界限的方法。
• 在仅能测量 $\mathrm{Tr} \rho^2$ 和 $\mathrm{Tr} \rho^3$ 而非完整谱的情况下，实现对量子系统中冯·诺依曼熵的估计。
• 为物理系统中全概率向量不可获取时的信息论量提供实用估计工具。
• 阐明整数阶 Rényi 熵之间的关系及其对非广延熵与动力系统的影响。

提出的方法

• 通过 Topsøe 与 Harremoës 建立的不等式，利用已知的概率向量长度 $N$，推导出基于二阶与三阶 Rényi 熵的 $H_1$ 界限。
• 提出显式外推公式（公式 32）：将下界与上界取平均，以提升 $H_1$ 的估计精度。
• 利用关系式 $H_q = \frac{1}{1-q}\ln\left(\sum x_i^q\right)$ 将 Rényi 熵表示为 $L_q$ 范数形式，其中 $H_2 = -\ln\left(\sum x_i^2\right)$ 且 $H_3 = \frac{1}{-2}\ln\left(\sum x_i^3\right)$。
• 将界限应用于量子系统，其中 $H_1$ 对应冯·诺依曼熵，$H_2$ 对应线性熵，$\mathrm{Tr} \rho^k$ 对应 $\sum x_i^k$。
• 通过 $10^4$ 个大小为 $N=10$ 的随机概率向量进行数值验证，分析外推结果的误差分布。
• 修正早期关于 $H_q$ 在 $q$ 上凸性的断言，承认 $H_q$ 并非必然凸，但确认即使如此，界限依然有效。

实验结果

研究问题

• RQ1 当全概率向量未知时，能否可靠地从二阶与三阶 Rényi 熵估计香农熵 $H_1$？
• RQ2 基于 $H_2$ 与 $H_3$ 推导出的 $H_1$ 界限如何依赖于概率向量长度 $N$？
• RQ3 基于 $H_2$ 与 $H_3$ 的 $H_1$ 外推公式的精度如何？与界限相比表现如何？
• RQ4 当 Rényi 熵 $H_q$ 在 $q$ 上不凸时，所推导的界限与外推公式是否依然有效？
• RQ5 这些方法能否用于估计仅能测量 $\mathrm{Tr} \rho^2$ 与 $\mathrm{Tr} \rho^3$ 的量子系统中的冯·诺依曼熵？

主要发现

• 当概率向量长度 $N$ 已知时，由 $H_2$ 与 $H_3$ 推导出的香农熵 $H_1$ 的下界与上界有效且适用。
• 外推公式（公式 32）定义为下界与上界的平均值，其对 $H_1$ 的估计精度高于仅使用界限的方法。
• 对 $10^4$ 个大小为 $N=10$ 的随机向量进行数值模拟表明，外推结果 $H_*$ 的误差分布窄且集中在零附近，表明精度极高。
• 即使 Rényi 熵 $H_q$ 在 $q$ 上不必然凸，界限与外推公式依然有效，此点已在勘误中澄清。
• 该方法可推广至非广延熵（如 Havrda-Charvat 与 Tsallis 熵），其中线性熵 $L$ 等价于 $S_2$。
• 结果可直接应用于量子系统，实现从可测量的迹 $\mathrm{Tr} \rho^2$ 与 $\mathrm{Tr} \rho^3$ 估计冯·诺依曼熵。