[論文レビュー] Low-density graph codes that are optimal for source/channel coding and binning

Martin J. Wainwright, Emin Martinian|ArXiv.org|Apr 13, 2007

Error Correcting Code Techniques参考文献 49被引用数 12

ひとこと要約

本稿では、低密度生成行列（LDGM）および低密度奇検査行列（LDPC）コードを組み合わせたスパースグラフィカルコードのクラスを提案し、最適な符号化/復号化の下で、ソース符号化およびチャネル符号化の両方で最適性能を達成する。有限次数の構成が、2値対称ソースのレート・歪み曲線および2値対称チャネルの容量・ノイズ曲線の任意の点に到達可能であることを証明し、Wyner-ZivおよびGelfand-Pinsker問題への応用を示している。

ABSTRACT

We describe and analyze the joint source/channel coding properties of a class of sparse graphical codes based on compounding a low-density generator matrix (LDGM) code with a low-density parity check (LDPC) code. Our first pair of theorems establish that there exist codes from this ensemble, with all degrees remaining bounded independently of block length, that are simultaneously optimal as both source and channel codes when encoding and decoding are performed optimally. More precisely, in the context of lossy compression, we prove that finite degree constructions can achieve any pair $(R, D)$ on the rate-distortion curve of the binary symmetric source. In the context of channel coding, we prove that finite degree codes can achieve any pair $(C, p)$ on the capacity-noise curve of the binary symmetric channel. Next, we show that our compound construction has a nested structure that can be exploited to achieve the Wyner-Ziv bound for source coding with side information (SCSI), as well as the Gelfand-Pinsker bound for channel coding with side information (CCSI). Although the current results are based on optimal encoding and decoding, the proposed graphical codes have sparse structure and high girth that renders them well-suited to message-passing and other efficient decoding procedures.

研究の動機と目的

• 有界次数のスパースグラフィカルコードを設計し、ソース符号化およびチャネル符号化の両方で最適性能を同時に達成すること。
• 特に側情報を伴う場合のスパース符号の損失付き圧縮および共同ソース・チャネル符号化に関する理解のギャップを埋めること。
• LDPCに類似した符号の適用範囲を、純粋なチャネル符号化を超えて損失付きソース符号化および側情報付き符号化に拡張すること。
• 有限次数の構成が、2値対称モデルにおける情報理論的限界に到達可能であることを厳密に確立すること。
• 合成符号のネスト構造が、Wyner-ZivおよびGelfand-Pinskerの限界に到達可能であることを示すこと。

提案手法

• 低密度生成行列（LDGM）コードと低密度奇検査行列（LDPC）コードを組み合わせることで合成符号を構築する。
• 密度発展演算と大偏差解析を用いて、符号集合の漸近的性能を特徴付ける。
• 共役双対および陰関数定理を用いて、臨界点におけるレート関数およびその微分を解析する。
• 符号のネスト構造を活用して、分散型ソース符号化（Wyner-Ziv）および側情報付きチャネル符号化（Gelfand-Pinsker）を実現する。
• w = 1/2 における対称性を活用して微分係数の計算を簡略化し、レート関数の厳密な凹型を証明する。
• Danskinの定理および陰関数定理を適用して、性能関数の微分可能性および2階性質を確立する。

実験結果

リサーチクエスチョン

• RQ1 有限次数のスパースグラフィカル符号は、2値対称ソースのレート・歪み関数の全範囲に到達可能か？
• RQ2 このような符号は、2値対称チャネルの容量・ノイズ関数の全範囲にも到達可能か？
• RQ3 合成LDGM-LDPC構造は、側情報付きソース符号化におけるWyner-Ziv限界に到達可能か？
• RQ4 同じ構成により、側情報付きチャネル符号化におけるGelfand-Pinsker限界に到達可能か？
• RQ5 符号集合の性能は、厳密に凹型のレート関数によって特徴づけられ、最適なトレードオフを可能にするか？

主な発見

• 最適な符号化・復号化の下で、任意の点が2値対称ソースのレート・歪み曲線上に到達可能な有限次数のLDGM-LDPC符号が存在する。
• 最適な符号化・復号化の下で、任意の点が2値対称チャネルの容量・ノイズ曲線上に到達可能な有限次数のLDGM-LDPC符号が存在する。
• 合成符号構造はネスト型であり、側情報付きソース符号化におけるWyner-Ziv限界に到達可能である。
• 同じ符号構造により、側情報付きチャネル符号化におけるGelfand-Pinsker限界に到達可能である。
• レート関数 $ B(w) $ は $ w = 1/2 $ で厳密に凹型であり、$ B''(1/2) < 0 $ である。これにより、局所的最適性および解の一意性が確認される。
• レート関数の2階微分を明示的に計算した結果、$ B''(1/2) = rac{d_v - 1}{4} - 4d_v < 0 $ であることが示され、厳密な凹型および最適点の安定性が裏付けられる。