[論文レビュー] Compression of sources of probability distributions and density operators

Andreas Winter|arXiv (Cornell University)|Aug 21, 2002

Wireless Communication Security Techniques参考文献 17被引用数 45

ひとこと要約

本稿は、確率分布または量子混合状態を出力する情報源の圧縮を研究し、出力分布を効率的に圧縮することを目的とした一般化されたソース符号化問題を導入する。最適圧縮レートが共通乱数または組み合わせ的符号構成により達成可能な相互情報量 I(P;W) であることを確立し、古典的および量子情報理論の統一的応用を示しており、シャノンの符号化定理およびレート歪み理論の新しい証明を含む。

ABSTRACT

We study the problem of efficient compression of a stochastic source of probability distributions. It can be viewed as a generalization of Shannon's source coding problem. It has relation to the theory of common randomness, as well as to channel coding and rate--distortion theory: in the first two subjects ``inverses'' to established coding theorems can be derived, yielding a new approach to proving converse theorems, in the third we find a new proof of Shannon's rate--distortion theorem. After reviewing the known lower bound for the optimal compression rate, we present a number of approaches to achieve it by code constructions. Our main results are: a better understanding of the known lower bounds on the compression rate by means of a strong version of this statement, a review of a construction achieving the lower bound by using common randomness which we complement by showing the optimal use of the latter within a class of protocols. Then we review another approach, not dependent on common randomness, to minimizing the compression rate, providing some insight into its combinatorial structure, and suggesting an algorithm to optimize it. The second part of the paper is concerned with the generalization of the problem to quantum information theory: the compression of mixed quantum states. Here, after reviewing the known lower bound we contribute a strong version of it, and discuss the relation of the problem to other issues in quantum information theory.

研究の動機と目的

• シンボルではなく確率分布を出力するソースに、シャノンのソース符号化定理を一般化し、より広範な情報源のクラスをモデル化すること。
• このようなソースの最適圧縮レートを特定すること、特に誤差がゼロに近づく極限（λ→0）におけるレートと、共通乱数などのリソースの役割を理解すること。
• 古典的分布の自然な一般化として、混合量子状態の圧縮を分析することで、量子情報理論への結果の拡張。
• チャネル容量やレート歪み理論などの主要定理が、この圧縮フレームワークから導かれるように、古典的および量子情報理論を統一すること。
• 共通乱数や組み合わせ的手法を用いたコード構成を提案・分析し、理論的下界に達する圧縮レートを実現すること。

提案手法

• 符号化が入力系列をコードブックにマッピングし、復号がコードブックの要素を出力分布にマッピングする一般化された (n,λ)-コードを導入し、全変動距離を用いて忠実度を測定する。
• 強い逆定理を用いて、最小コードブックサイズの下界を導出し、漸近的極限において圧縮レートが I(P;W) より小さくなることは不可能であることを示す。
• 共通乱数を用いた確率的符号化法を適用し、共通乱数の消費量が極限で H(W|P) ビット/記号であることを示しながら、相互情報量レート I(P;W) を達成する符号を構成する。
• 量子チャネル符号化定理（HSW定理を介して）を用い、圧縮問題を古典的・量子チャネルを介した伝送問題に還元することで、レート I(P;W) の達成可能性を証明する。
• 典型集合とタイプの方法に基づく組み合わせ的構成を考案し、共通乱数を必要としない非確率的符号を提供し、最適レートに近づく。
• 確率分布を可換な密度演算子として扱うことで、量子ソースへのフレームワークの拡張を行い、量子混合状態圧縮における強い逆定理を証明する。

実験結果

リサーチクエスチョン

• RQ1 入力記号 x に対して出力分布 W_x を出力するソースについて、全変動距離による忠実度制約下での最適圧縮レートは何か？
• RQ2 共通乱数を用いることで、相互情報量 I(P;W) が漸近的に達成可能か？また、必要な共通乱数の最小レートは何か？
• RQ3 共通乱数を必要とせず、I(P;W) の圧縮レートが達成可能か？また、組み合わせ的構成により計算可能か？
• RQ4 本結果を用いて、シャノンのチャネル符号化定理やレート歪み理論といった既知の定理を系として導出可能か？
• RQ5 この圧縮フレームワークと量子情報理論の関係は何か？特に、混合状態圧縮および量子チャネル容量の文脈で。

主な発見

• 全変動距離による忠実度制約下での確率分布のソースの最適圧縮レートは、入力と出力分布間の相互情報量 I(P;W) である。
• 強い逆定理を証明し、I(P;W) を超えるレートの符号は、漸近的極限において誤差確率がゼロから離れていることを示す。
• 共通乱数へのアクセスがある場合、共通乱数の消費量が極限で H(W|P) ビット/記号であるコードを構成でき、レート I(P;W) を達成する。
• 典型集合とタイプの方法に基づく組み合わせ的構成により、共通乱数を必要とせず、最適レート I(P;W) を達成する非確率的符号が得られ、達成可能性の構成的証明が得られる。
• 適切な歪み測度を用いた圧縮問題に還元することで、本フレームワークはシャノンのレート歪み理論の新しい証明を提供する。
• 結果は量子混合状態へ拡張され、最適圧縮レートはホールボ情報であり、量子混合状態ソースに対して強い逆定理が確立される。