[論文レビュー] Lossy Source Coding via Spatially Coupled LDGM Ensembles

Vahid Aref, Nicolas Macris+2 more|arXiv (Cornell University)|Feb 22, 2012

Error Correcting Code Techniques被引用数 5

ひとこと要約

本稿では、信念伝播誘導デシメーション（BPGD）を用いてシャノンのレート・ドリフト限界に近づくように、損失ありソース圧縮のための空間的結合された低密度生成行列（LDGM）コードを提案する。正則な次数を用い、最適化を行わずとも、BPGDアルゴリズムが、ブロック長および結合長が増加するに従い、最適限界に近い歪みを達成することを示している。これは空間的結合による閾値飽和の効果に起因する。

ABSTRACT

We study a new encoding scheme for lossy source compression based on spatially coupled low-density generator-matrix codes. We develop a belief-propagation guided-decimation algorithm, and show that this algorithm allows to approach the optimal distortion of spatially coupled ensembles. Moreover, using the survey propagation formalism, we also observe that the optimal distortions of the spatially coupled and individual code ensembles are the same. Since regular low-density generator-matrix codes are known to achieve the Shannon rate-distortion bound under optimal encoding as the degrees grow, our results suggest that spatial coupling can be used to reach the rate-distortion bound, under a {\it low complexity} belief-propagation guided-decimation algorithm. This problem is analogous to the MAX-XORSAT problem in computer science.

研究の動機と目的

• 損失ありソース圧縮のための低複雑性符号化方式を開発し、シャノンのレート・ドリフト限界に近づけること。
• LDGMコードにおける空間的結合が、信念伝播誘導デシメーション（BPGD）が最適な歪み性能を達成可能かどうかを調査すること。
• 同じ条件下で、空間的結合LDGMアンサンブルの最適歪みが、結合なしアンサンブルのそれと一致するかどうかを特定すること。
• 実用的展開を想定し、結合LDGM構造におけるBPGDの収束性と複雑性を分析すること。

提案手法

• 著者らは、滑らかなウィンドウ構造を用いて、正則LDGMコードの複数コピーを結合することで、空間的結合LDGM（CCLDGM）アンサンブルを構築する。
• 最大のマージナルバイアスを持つビットを反復的に固定することでグラフサイズを縮小する信念伝播誘導デシメーション（BPGD）アルゴリズムを適用する。
• BPGDプロセスは、単純なBPマージナルと決定的デシメーションを用い、複雑な最適化を回避する。
• 両方の結合あり・なしアンサンブルの最適歪みを計算するために、サーベイ伝播（SP）形式が用いられる。
• 歪み収束の評価のため、ブロック長（n）、結合長（L）、結合幅（w）を変化させた数値シミュレーションが実施される。
• フレームワークは対称ベルヌーイ源を仮定し、歪みは正規化ハミング距離で測定される。

実験結果

リサーチクエスチョン

• RQ1 空間的結合LDGMコードにBPGDを適用することで、シャノンのレート・ドリフト限界に近い歪みを達成できるか？
• RQ2 結合アンサンブルの最適歪みは、元の結合なしアンサンブルのそれと一致するか？
• RQ3 損失ありソース符号化において、チャネル符号化と同様に歪み性能における閾値飽和が観測されるか？
• RQ4 結合長（L）、ブロック長（n）、結合幅（w）がBPGDによる最適歪みへの収束に与える影響は何か？
• RQ5 正則で最適化なしのLDGMアンサンブルに空間的結合を適用することで、次数分布のチューニングなしに近最適性能を達成できるか？

主な発見

• k=3,4,5および大きなn, L, wを有するCCLDGMアンサンブルにおいて、BPGD歪みは数値的に最適歪みD_optに収束し、n=8000, L=128, w=5のときk=5では0.1111に近づく。
• 平均BPGD歪みは結合長Lの増加に従い減少し、Lが非常に大きい極限では、未飽和領域の寄与が消滅し、飽和値に収束する。
• サーベイ伝播形式による確認により、結合アンサンブルの最適歪みは結合なしアンサンブルのそれと一致することが示された。
• BPGDアルゴリズムは、次数分布の最適化なしに近最適性能を達成しており、これは空間的結合が閾値飽和に本質的な役割を果たしていることを示唆している。
• BPGDアルゴリズムの複雑性はO(n²L²)であるが、結合LDPCコードと同様のスライディングウィンドウ符号化技術を用いることでO(n²L)に低減可能である。
• 数値結果から、k=5の場合、n=8000, L=128, w=5で飽和値（最適歪み）は約0.1107、平均BPGD歪みは0.1116であり、最適限界への強い収束が確認された。