[論文レビュー] Low density codes achieve the rate-distortion bound

Emin Martinian, Martin J. Wainwright|ArXiv.org|Jan 30, 2006

Error Correcting Code Techniques参考文献 9被引用数 14

ひとこと要約

本稿では、ハミング歪みの下で二進対称ソースの理論的レート・歪み限界に達する、調整可能なパrameterを備えた新規な低密度生成行列（LDGM）構成を提案する。LDGMコードとLDPCコードを組み合わせた複合構造を採用し、厳密な確率的解析を用いることで、最適な符号化アルゴリズムを用いることで最適な歪みが達成可能であることを証明した。低密度符号が情報理論的限界に達することを示した。

ABSTRACT

We propose a new construction for low-density source codes with multiple parameters that can be tuned to optimize the performance of the code. In addition, we introduce a set of analysis techniques for deriving upper bounds for the expected distortion of our construction, as well as more general low-density constructions. We show that (with an optimal encoding algorithm) our codes achieve the rate-distortion bound for a binary symmetric source and Hamming distortion. Our methods also provide rigorous upper bounds on the minimum distortion achievable by previously proposed low-density constructions.

研究の動機と目的

• 損失付きソース符号化におけるレート・歪み限界に厳密に達する低密度ソース符号構成を開発すること。
• 特にチャネル符号化における成功に比して、損失付きソース符号化における低密度符号の理論的結果の不足に取り組むこと。
• 確率的および情報理論的道具を用いて、低密度ソース符号の歪みを分析するためのフレームワークを提供すること。
• 一様二進ソースに対してハミング歪みの下でLDGMに基づく構成が最適性能を達成できることを示すこと。
• 標準LDGM符号を含む、既存の低密度構成に対する歪みの厳密な上界を確立すること。

提案手法

• 上層にLDGMコード（上層）、下層にLDPCコード（下層）を有する複合符号構造を導入し、中間層の有効な割り当てがLDPCコードによって制約されるようにする。
• 生成行列の列を段階的に明らかにするDoobのマルティンゲールを用い、歪みがその典型値のまわりに指数的集中することを証明する。
• Azuma-Hoeffdingの不等式を適用して、歪みが期待値から著しく逸脱する確率を上界で抑え、そのような逸脱が指数的にまれであることを示す。
• Sanovの定理を用いて、ランダムな符号語がソース系列から与えられた歪み内にある確率の上界を、相対エントロピー（Kullback-Leibler距離）を用いて求める。
• 条件付き確率とモーメント不等式を用いて、歪みD内にある符号語の期待数の上界を導出し、Lemma 5を活用して成功確率が非指数的に小さいことを示す。
• 少なくとも1つの良い符号語が逆多項式確率で存在することに基づく条件付き確率の議論を用い、その結果、濃度の結果が典型的な歪みが最適であることを示唆する。

実験結果

リサーチクエスチョン

• RQ1 低密度ソース符号を構成することで、二進対称ソースの情報理論的レート・歪み限界に達することができるか？
• RQ2 低密度ソース符号における期待歪みを厳密に上界で抑えるために、どのような解析的手法が用いられるか？
• RQ3 複合LDGM-LDPC構成はハミング歪みの下で最適性能を達成可能か？ もしそうならば、どのような条件下で可能か？
• RQ4 提案されたフレームワークを用いて、標準LDGM符号の性能を厳密に上界で抑えられるか？
• RQ5 歪みD内に良い符号語が見つかる成功確率は指数的に小さいのか、それとも多項式的に小さいのか？ これにより、濃度の議論が可能になるか？

主な発見

• 最適な符号化アルゴリズムを用いる場合、提案された複合LDGM-LDPC符号構成は、一様二進ソースとハミング歪みの下でレート・歪み限界に達する。
• 歪みD内に少なくとも1つの符号語が存在する確率は、下限が (1/2)(n+1)⁻² で与えられ、これは逆多項式であり、指数的に小さいものではない。
• 歪みはその典型値のまわりに指数的に集中しており、高確率で実際の歪みが期待歪みと一致する。
• 解析により、{z(D) > 0}（良い符号語の存在）の事象が典型的歪みを決定づけることが示され、典型的歪みが最適であることを示唆する。
• 本手法により、標準LDGM符号の最小達成可能歪みに対する厳密な上界が得られ、理論的限界に近づけることが示された。
• 結果として、効率的な符号化アルゴリズムが存在する限り、低密度符号が損失付きソース符号化において最適性能を厳密に達成可能であることが確立された。