[論文レビュー] On the Iterative Decoding of High-Rate LDPC Codes With Applications in Compressed Sensing

Fan Zhang, Henry D. Pfister|arXiv (Cornell University)|Mar 12, 2009

Error Correcting Code Techniques参考文献 44被引用数 34

ひとこと要約

本稿は、二進削除チャネル（BEC）およびq進対称チャネル（q-SC）における高レートLDPC符号の検証デコードの解析を行い、デコード閾値およびストッピング集合のスケーリング則を導出する。これらの結果を圧縮センシング（CS）に拡張し、実数値測定と検証デコードのおかげで、O(p)の測定値と線形時間アルゴリズムを用いて、厳密にスパースな信号を高確率で再構成可能であり、定数の過剰測定比を達成できることを示す。

ABSTRACT

This paper considers the performance of $(j,k)$-regular low-density parity-check (LDPC) codes with message-passing (MP) decoding algorithms in the high-rate regime. In particular, we derive the high-rate scaling law for MP decoding of LDPC codes on the binary erasure channel (BEC) and the $q$-ary symmetric channel ($q$-SC). For the BEC, the density evolution (DE) threshold of iterative decoding scales like $Θ(k^{-1})$ and the critical stopping ratio scales like $Θ(k^{-j/(j-2)})$. For the $q$-SC, the DE threshold of verification decoding depends on the details of the decoder and scales like $Θ(k^{-1})$ for one decoder. Using the fact that coding over large finite alphabets is very similar to coding over the real numbers, the analysis of verification decoding is also extended to the the compressed sensing (CS) of strictly-sparse signals. A DE based approach is used to analyze the CS systems with randomized-reconstruction guarantees. This leads to the result that strictly-sparse signals can be reconstructed efficiently with high-probability using a constant oversampling ratio (i.e., when the number of measurements scales linearly with the sparsity of the signal). A stopping-set based approach is also used to get stronger (e.g., uniform-in-probability) reconstruction guarantees.

研究の動機と目的

• 高レート領域におけるメッセージパッシングおよび検証デコードを用いた高レートLDPC符号の性能を解析すること。
• BECおよびq-SCにおけるデコード閾値のスケーリング則を導出し、特に臨界ストッピング比に注目すること。
• 解析を圧縮センシング（CS）に拡張し、検証デコードが厳密にスパースな信号の効率的再構成を可能にすることを示すこと。
• 実数値測定行列が、従来のO(p log(n/p))の下界を回避し、CSにおける定数の過剰測定比を実現できることを示すこと。
• 密度推移とストッピング集合に基づく保証を提供し、確率にわたる一様性を含む結果を得ること。

提案手法

• 密度推移（DE）を用いて、BECおよびq-SCにおける検証デコードの閾値特性を解析し、固定されたjに対してDE閾値がΘ(k⁻¹)のスケーリングを示す。
• ストッピング集合に基づくアプローチを用いて、確率にわたる一様な再構成保証を導出し、nが増加するにつれて失敗確率が消えることを示す。
• スケーリング手法を用いて、スパarsity pが0に近づく極限におけるスパarsity閾値の漸近的表現を導出する。
• スターリングの近似およびエントロピー関数の上限を用いて、小さなストッピング集合の数を上界で抑え、その期待値が極限で消えることを証明する。
• 大規模な有限体上の符号化と実数上での符号化の類似性を活用し、実数値測定行列を用いた圧縮センシングにおけるLDPCデコード結果を拡張する。
• 検証デコーダーをリストメッセージパッシングの劣化版とみなして解析し、高SNR領域における信念伝播の代理としての妥当性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 BECにおける(j,k)-正則LDPC符号のメッセージパッシングデコードの高レートスケーリング則は何か？
• RQ2 固定されたjに対して、BECにおける高レートLDPC符号の臨界ストッピング比はkとともにどのようにスケーリングするか？
• RQ3 q-SCにおける検証デコードのデコード閾値挙動は何か？また、kに従ってどのようにスケーリングするか？
• RQ4 実数値測定を用いた圧縮センシングにおいて、LDPC符号の検証デコードを拡張して効率的な再構成を可能にできるか？
• RQ5 ノイズのない実数値測定行列を用いた場合、CSにおけるO(p log(n/p))の測定数下限は依然有効か？

主な発見

• BECにおいて、反復デコードの密度推移閾値は固定されたjに対してΘ(k⁻¹)のスケーリングを示し、臨界ストッピング比はΘ(k⁻ʲ⁄⁽ʲ⁻²⁾)のスケーリングを示す。
• q-SCにおいて、検証デコードは1つのデコーダー変種に対してΘ(k⁻¹)のDE閾値スケーリングを達成するが、デコーダーの詳細に依存する。
• 圧縮センシングにおいて、厳密にスパースな信号はO(p)の測定値と線形時間アルゴリズムを用いて高確率で再構成可能であり、定数の過剰測定比を達成する。
• ノイズのない実数値測定行列では、O(p log(n/p))の測定数下限は成立せず、1回の測定で無限の情報が得られるため。
• サイズo(n)のストッピング集合の期待数はn → ∞の極限で消えるため、検証デコード下で失敗確率が0に近づくことを証明する。
• 任意のA > 0に対して、サイズがA ln nからδⱼ,ₖnの間にあるストッピング集合が存在する確率はn → ∞の極限で0に近づくため、確率にわたる一様な再構成保証が確認される。