[论文解读] Informational Divergence Approximations to Product Distributions

Jie Hou, Gerhard Kramer|arXiv (Cornell University)|Feb 1, 2013

Statistical Mechanics and Entropy被引用 9

一句话总结

该论文证明，使用未归一化的信息散度近似目标产品分布所需的最小速率由香农互信息 I(V;U) 给出，其中 V 和 U 与目标边缘分布 Q_V 联合分布。该结果推广了 Wyner 的公共信息和 Han-Verdú 的可分解性理论，表明即使编码器使用非均匀输入分布，互信息仍是未归一化散度最小化的根本极限速率。

ABSTRACT

The minimum rate needed to accurately approximate a product distribution based on an unnormalized informational divergence is shown to be a mutual information. This result subsumes results of Wyner on common information and Han-Verdú on resolvability. The result also extends to cases where the source distribution is unknown but the entropy is known.

研究动机与目标

• 确定使用未归一化信息散度作为距离度量时，近似目标产品分布所需的最小速率。
• 通过证明在未归一化散度下互信息是根本速率极限，统一并推广了先前关于可分解性和公共信息的研究成果。
• 将分析扩展到编码器使用非均匀输入分布的情形，而非假设输入为均匀分布。
• 证明相同的互信息速率在块长 n 趋于无穷时，既必要又充分，可使目标分布与近似分布之间的未归一化散度任意小。
• 提供两种证明方法——一种基于典型性，另一种基于 Gallager 的错误概率指数——从而加强该结果的理论基础。

提出的方法

• 采用编码系统：将均匀随机变量 W ∈ {1,…,M} 通过确定性函数 f 编码为序列 U^n，其中 M = 2^{nR}。
• 通过无记忆信道 Q^{n}_{V|U} 从 U^n 生成 V^n，得到输出分布 P_{V^n}，其需近似目标分布 Q^n_V。
• 将速率 R 定义为可实现的，若对足够大的 n，未归一化信息散度 D(P_{V^n} || Q^n_V) 可被任意缩小。
• 应用香农的典型性论证，表明当 R > I(V;U) 时，在具有边缘分布 Q_V 的联合分布 Q_{UV} 下，随着 n 增大，散度趋于零。
• 采用 Gallager 的错误概率指数方法，通过随机编码指数 E^n_0(ρ, Q^{n}_{UV}) 推导出散度的上界，随后对 ρ 进行优化。
• 利用不等式 (a+b)^x ≤ a^x + b^x（其中 0 ≤ x ≤ 1）以及期望和独立性的性质，对散度表达式进行界定，证明其呈指数衰减。

实验结果

研究问题

• RQ1 为使近似分布 P_{V^n} 与目标产品分布 Q^n_V 之间的未归一化信息散度任意小，所需的最小速率 R 是多少？
• RQ2 当编码器输入为非均匀分布（而非先前研究中假设的均匀分布）时，互信息 I(V;U) 是否仍为根本速率极限？
• RQ3 当源分布未知但已知其熵时，该结果是否可扩展？这将如何影响速率需求？
• RQ4 典型性方法与 Gallager 的错误概率指数方法在证明散度最小化的可达性与对偶性界方面有何异同？
• RQ5 在块长 n 趋于无穷的极限下，互信息表达式 I(V;U) 是否既必要又充分，以实现未归一化散度的任意小化？

主要发现

• 通过未归一化信息散度近似目标产品分布 Q_V 的最小可实现速率 R 为 I(V;U)，其中 I(V;U) 是在具有边缘分布 Q_V 且 |supp(Q_U)| ≤ |V| 的联合分布 Q_{UV} 下计算的。
• 若对所有此类联合分布 Q_{UV}，均有 R < I(V;U)，则速率 R 不可实现，从而证明了对偶性，确立了互信息为精确的根本极限。
• 该结果涵盖了 Wyner 的公共信息和 Han-Verdú 的可分解性结果，表明即使在未归一化散度下，互信息也是最小速率，而不仅限于归一化散度或变分距离。
• 通过 Gallager 的错误概率指数方法证明，散度随块长 n 呈指数衰减，其指数受 E^n_0(ρ, Q^{n}_{UV}) ≤ log₂(1 + 2^{n(E_G(R,Q_{UV}) + ρR)}) 限制，当 R > I(V;U) 时出现指数衰减。
• 即使编码器使用非均匀输入分布，该分析依然成立，从而扩展了先前假设输入为均匀分布的研究结果。
• 该界是紧致的：当 R > I(V;U) 时，期望散度 D(P_{V^n} || Q^n_V) 随 n → ∞ 而趋于零，确认了互信息速率的可达性。