[论文解读] Continuity of a class of entropies and relative entropies

Jan Naudts|ArXiv.org|Aug 26, 2002

Statistical Mechanics and Entropy参考文献 16被引用 5

一句话总结

本文基于变形对数，为一大类广义熵和相对熵泛函建立了连续性估计，证明其满足Lesche稳定性条件。该工作推广了Tsallis熵的结果，并利用变形对数的积分表示和凸性论证，提供了统一且清晰的证明。

ABSTRACT

The present paper studies continuity of generalized entropy functions and relative entropies defined using the notion of a deformed logarithmic function. In particular, two distinct definitions of relative entropy are discussed. As an application, all considered entropies are shown to satisfy Lesche's stability condition. The entropies of Tsallis' nonextensive thermostatistics are taken as examples.

研究动机与目标

• 基于变形对数建立广义熵泛函的连续性估计。
• 在广义统计热力学背景下，分析两种不同的相对熵定义（f-散度与Bregman型散度）。
• 证明所有考虑的熵泛函均满足Lesche的稳定性条件，确保其在实验中的可靠性。
• 将现有连续性界（如Fannes型不等式）推广至一大类非广延熵。
• 为具有有限微观态数的离散概率分布提供一个适用于熵连续性的统一框架。

提出的方法

• 使用定义为 $\ln_{\phi}(x) = \int_1^x \frac{1}{\phi(y)} dy$ 的变形对数，其中 $\phi(y)$ 严格为正且单调递增。
• 将熵定义为 $I_{\phi}(p) = -\sum_k f(p_k)$，其中 $f(x) = \ln_{\phi}(x)$，并通过 $I_{\phi}(p||q) = \sum_k q_k \ln_{\phi}(p_k/q_k)$ 定义相对熵。
• 利用积分表示推导连续性界：$|I_{\phi}(p) - I_{\phi}(q)| \leq \sum_k \int_0^{|p_k - q_k|} \ln_{\phi}(x) dx$。
• 引入度量 $d(p,q)$ 以控制熵差，并引入余项 $h_r(p,q)$ 以控制相对熵的变化。
• 应用 $F_\phi(x) = \int_1^x \ln_{\phi}(y) dy$ 的凸性与单调性性质，推导出最优界。
• 通过涉及 $F_\phi(0)$ 与 $F_\phi(x)$ 的不等式，推导出最终的连续性估计（47）及其改进形式（67）。

实验结果

研究问题

• RQ1 在何种条件下，广义熵 $I_{\phi}(p)$ 关于总变差范数是连续的？
• RQ2 在概率分布扰动下，两种不同的相对熵定义——f-散度与Bregman型散度——如何表现？
• RQ3 基于变形对数的熵泛函是否满足Lesche的稳定性条件？
• RQ4 能否为一大类非广延熵推导出统一且清晰的连续性估计？
• RQ5 熵差的最优界如何用 $||p - q||_1$ 与变形函数 $\phi$ 表示？

主要发现

• 推导出一般连续性估计：$|I_{\phi}(p) - I_{\phi}(q)| \leq \sum_k \int_0^{|p_k - q_k|} \ln_{\phi}(x) dx$，该估计通过总变差范数控制熵差。
• 相对熵差满足 $|I_{\phi}(p||r) - I_{\phi}(q||r)| \leq d(p,q) + h_r(p,q)$，其中 $d(p,q)$ 与 $h_r(p,q)$ 为显式定义的度量。
• 所有考虑的熵泛函，包括Tsallis熵，均满足Lesche的稳定性条件，证实其具有实验鲁棒性。
• Lesche稳定性的证明比以往方法更简短且更清晰，尤其适用于Tsallis熵。
• 推导出改进界：$|I_{\phi}(p) - I_{\phi}(q)| \leq N F_\phi(0) - N F_\phi(a) - (||p - q||_1 - N a) \ln_\phi(a)$，其中最优 $a = ||p - q||_1 / N$。
• 该框架适用于离散概率分布，并可扩展至连续与量子情形，如参考文献所述。