[论文解读] Compression of sources of probability distributions and density operators

Andreas Winter|arXiv (Cornell University)|Aug 21, 2002

Wireless Communication Security Techniques参考文献 17被引用 45

一句话总结

本文研究输出概率分布或量子混合态的信源压缩问题，提出一种广义的信源编码问题，目标是高效压缩输出分布。研究证明最优压缩速率即为互信息 I(P;W)，可通过公共随机性或组合码构造实现，并展示了其在经典与量子信息论中的统一应用，包括对香农编码定理和率失真定理的新证明。

ABSTRACT

We study the problem of efficient compression of a stochastic source of probability distributions. It can be viewed as a generalization of Shannon's source coding problem. It has relation to the theory of common randomness, as well as to channel coding and rate--distortion theory: in the first two subjects ``inverses'' to established coding theorems can be derived, yielding a new approach to proving converse theorems, in the third we find a new proof of Shannon's rate--distortion theorem. After reviewing the known lower bound for the optimal compression rate, we present a number of approaches to achieve it by code constructions. Our main results are: a better understanding of the known lower bounds on the compression rate by means of a strong version of this statement, a review of a construction achieving the lower bound by using common randomness which we complement by showing the optimal use of the latter within a class of protocols. Then we review another approach, not dependent on common randomness, to minimizing the compression rate, providing some insight into its combinatorial structure, and suggesting an algorithm to optimize it. The second part of the paper is concerned with the generalization of the problem to quantum information theory: the compression of mixed quantum states. Here, after reviewing the known lower bound we contribute a strong version of it, and discuss the relation of the problem to other issues in quantum information theory.

研究动机与目标

• 将香农信源编码定理推广至输出概率分布而非符号的信源，以建模更广泛的信源类别。
• 确定此类信源在误差趋于零（λ→0）极限下的最优压缩速率，并理解公共随机性等资源的作用。
• 将结果扩展至量子信息理论，分析混合量子态压缩作为经典分布的自然推广。
• 通过证明关键定理（如信道容量与率失真）可由此压缩框架导出，统一经典与量子信息理论。
• 提出并分析可实现理论压缩速率下限的码构造，包括使用公共随机性的方法与组合方法。

提出的方法

• 引入广义的 (n,λ)-码，其中编码将输入序列映射至码书，解码将码书元素映射至输出分布，使用总变差距离衡量保真度。
• 利用强 converse 定理推导最小码书大小的下界，表明在渐近极限下压缩速率不能低于 I(P;W)。
• 采用含公共随机性的随机编码方法构造码，实现互信息速率 I(P;W)，并证明在极限下公共随机性消耗为 H(W|P) 每符号。
• 通过 HSW 定理应用量子信道编码定理，将压缩问题转化为经典-量子信道上的传输问题，证明速率 I(P;W) 的可实现性。
• 基于典型集与类型法发展组合构造，提供一种无需公共随机性的非随机码，逼近最优速率。
• 通过将概率分布视为可交换密度算符，将框架扩展至量子信源，并为量子混合态压缩证明强 converse 定理。

实验结果

研究问题

• RQ1 在总变差保真度约束下，输出分布 W_x 的信源的最优压缩速率为何？
• RQ2 能否通过公共随机性渐近实现互信息 I(P;W)，且所需公共随机性的最小速率为多少？
• RQ3 是否可在无公共随机性下实现压缩速率 I(P;W)，并可通过组合构造计算该速率？
• RQ4 该结果能否作为已知信息论定理（如香农信道编码与率失真定理）的推论？
• RQ5 该压缩框架与量子信息理论的关系如何，特别是在混合态压缩与量子信道容量的背景下？

主要发现

• 在总变差保真度约束下，输出概率分布信源的最优压缩速率为 I(P;W)，即输入与输出分布之间的互信息。
• 证明了强 converse 定理，表明任何速率超过 I(P;W) 的码在渐近极限下误差概率必然远离零。
• 在拥有公共随机性的情况下，可构造出实现速率 I(P;W) 的码，且在极限下每符号仅需消耗 H(W|P) 比特公共随机性。
• 基于典型集与类型法的组合构造可实现速率 I(P;W)，且无需公共随机性，提供了可实现性的构造性证明。
• 通过引入适当的失真度量，该框架可将率失真问题转化为压缩问题，从而给出香农率失真定理的新证明。
• 结果可推广至量子混合态，其中最优压缩速率为 Holevo 信息，且为量子混合态信源建立了强 converse 定理。