[論文レビュー] Analysis of LDGM and compound codes for lossy compression and binning

Emin Martinian, Martin J. Wainwright|ArXiv.org|Feb 13, 2006

Cellular Automata and Applications参考文献 18被引用数 24

ひとこと要約

この論文は、低密度生成行列（LDGM）コードと、損失圧縮に向けた新しいLDPC/LDGM複合構成法を分析し、複合構成法が有限の次数でシャノンのレート・ディストーション限界に達することを示している。第二モーメント法および大偏差解析に基づく厳密な上限を用いて、チェック次数が増加するにつれてLDGMコードが理論的限界に素早く近づくことを示し、一方で複合設計はLDPCプリコードに起因するコード語の分離によって残存ギャップを解消する。

ABSTRACT

Recent work has suggested that low-density generator matrix (LDGM) codes are likely to be effective for lossy source coding problems. We derive rigorous upper bounds on the effective rate-distortion function of LDGM codes for the binary symmetric source, showing that they quickly approach the rate-distortion function as the degree increases. We also compare and contrast the standard LDGM construction with a compound LDPC/LDGM construction introduced in our previous work, which provably saturates the rate-distortion bound with finite degrees. Moreover, this compound construction can be used to generate nested codes that are simultaneously good as source and channel codes, and are hence well-suited to source/channel coding with side information. The sparse and high-girth graphical structure of our constructions render them well-suited to message-passing encoding.

研究の動機と目的

• 最大尤度復号における標準LDGMコードの有効レート・ディストーション関数を厳密に束縛すること。
• 同時に優れた性能を示すソース符号およびチャネル符号としての機能を果たす、複合LDPC/LDGM構成法を分析すること。
• 有限次数のLDPC/LDGMコードがシャノンのレート・ディストーション限界に到達できることを示すこと。標準LDGMコードの制限を克服する。
• スパースグラフィカル符号を側情報付きソース/チャネル符号化に用いるための理論的基盤を確立すること。
• 理論的境界と実用的メッセージパッシングアルゴリズム（特にサーベイプロパゲーション）を結びつけること。

提案手法

• 第二モーメント法および大偏差境界を用いて、チェック正則LDGM集合の有効レート・ディストーション関数に対する厳密な上限を導出する。
• LDGMコードをLDPCコードでプリエンコードすることで、コード語の分離と性能を向上させる、複合LDPC/LDGM構成法を導入する。
• 情報ビット、LDGM符号化、LDPCパリティチェックの3層構造を持つ共同要因グラフモデルを採用し、コード語が生成行列およびパリティチェック制約を両方満たすように保証する。
• LDPC重み母数 $ \mathcal{A}(v) $ およびコードレートに依存する関数 $ V(v; D, \theta_t) $ を用いて、複合コードのレート・ディストーション関数に対する上限を導出する。
• LDPC次数分布の影響を分析し、$ \mathcal{A}(v) $ がゼロ付近で負であることを保証することで、性能の過剰反応を防ぎ、レート・ディストーション限界への飽和を可能にする。
• 非厳密な統計物理学的手法（例：キャビティ法）を設計の参考にしながらも、有限次数における結果を厳密な解析に基づいて裏付ける。

実験結果

リサーチクエスチョン

• RQ1 すべての歪み $ D \in [0, 0.5] $ に対して、標準LDGMコードの有効レート・ディストーション関数に対して厳密な上限を確立できるか？
• RQ2 標準LDGMコードとは異なり、有限次数の下でシャノンのレート・ディストーション限界に到達できる複合LDPC/LDGM構成法は存在するか？
• RQ3 LDPCプリコードはLDGMコードにおけるコード語の分離をどのように改善するのか？また、LDPC重み母数 $ \mathcal{A}(v) $ はどのような役割を果たすか？
• RQ4 このような複合コードを用いて、側情報付きソース符号化およびチャネル符号化に適したネストコードを構築できるか？
• RQ5 実際の応用において、サーベイプロパゲーションなどのメッセージパッシングアルゴリズムは、これらのLDGMおよび複合構成法に対してどの程度のレート・ディストーション性能を達成できるか？

主な発見

• チェック正則LDGMコードの有効レート・ディストーション関数は、チェック次数 $ \gamma_t $ が増加するにつれて、シャノンの下限に急速に近づくが、有限次数では非ゼロの残存ギャップが残存する。
• 複合LDPC/LDGM構成法は、有限次数でシャノンのレート・ディストーション限界に到達可能であり、LDPCコードの重み母数 $ \mathcal{A}(v) $ がゼロ付近で負である限り、性能の過剰反応を防げる。
• チェック次数 $ \gamma_t = 4 $、LDPC次数 $ (\gamma_v, \gamma_c) = (4,8) $、$ R(\mathbf{G}) = 1 $、$ R(\mathbf{H}) = 0.5 $ の複合コードについて、$ D = 0.11 $ における上界 $ R_{\text{com}}(D; \gamma_t) $ がシャノン限界 $ R = 0.5 $ 以下に保たれ、飽和が証明された。
• 複合構成法によりネストコード設計が可能となり、ワイナー・ツィヴソース符号化およびゲルファンド・ピンスカーのチャネル符号化（側情報付き）に適している。
• 最適化された次数分布を有するLDGMコードにサーベイプロパゲーションに基づくメッセージパッシングアルゴリズムを適用した場合、シャノン限界に非常に近いレート・ディストーション性能が達成される。
• 解析により、複合構成法が標準LDGMコードの根本的限界（劣悪に分離されたコード語）を、LDPCプリコードによる有効情報系列の分散化によって回避できることを示した。