[論文レビュー] Capacity Achieving Linear Codes with Random Binary Sparse Generating Matrices

A. Makhdoumi Kakhaki, Hossein Karkeh Abadi+4 more|arXiv (Cornell University)|Feb 20, 2011

Error Correcting Code Techniques参考文献 29被引用数 6

ひとこと要約

本稿は、二進対称通信路（BSC）および二進消去通信路（BEC）における容量を達成する線形符号の存在を、ランダムな二進スパース生成行列を用いて証明する。これは、ランダムウォークカップリングに基づく新規なデコーダを活用し、ブロック長が増加するにつれて誤り確率が消えることを示している。また、十分に大きなブロック長に対して、任意に選択されたスパース生成行列が高確率で容量を達成することを確立しており、スパース線形符号に関する文献における重要なギャップを解消している。

ABSTRACT

In this paper, we prove the existence of capacity achieving linear codes with random binary sparse generating matrices. The results on the existence of capacity achieving linear codes in the literature are limited to the random binary codes with equal probability generating matrix elements and sparse parity-check matrices. Moreover, the codes with sparse generating matrices reported in the literature are not proved to be capacity achieving. As opposed to the existing results in the literature, which are based on optimal maximum a posteriori decoders, the proposed approach is based on a different decoder and consequently is suboptimal. We also demonstrate an interesting trade-off between the sparsity of the generating matrix and the error exponent (a constant which determines how exponentially fast the probability of error decays as block length tends to infinity). An interesting observation is that for small block sizes, less sparse generating matrices have better performances while for large blok sizes, the performance of the random generating matrices become independent of the sparsity. Moreover, we prove the existence of capacity achieving linear codes with a given (arbitrarily low) density of ones on rows of the generating matrix. In addition to proving the existence of capacity achieving sparse codes, an important conclusion of our paper is that for a sufficiently large code length, no search is necessary in practice to find a deterministic matrix by proving that any arbitrarily selected sequence of sparse generating matrices is capacity achieving with high probability. The focus in this paper is on the binary symmetric and binary erasure channels.her discrete memory-less symmetric channels.

研究の動機と目的

• 従来、厳密に確立されていなかった、スパース生成行列を用いた容量を達成する線形符号の存在を証明することで、文献におけるギャップを埋めること。
• 最適なMAPデコーディングと比較して劣化したデコーダであっても、ランダムなスパース生成行列が容量を達成できることを示すこと。
• 生成行列のスパarsityと誤り指数の間のトレードオフを確立し、スパarsityが小規模および大規模ブロック長において性能にどのように異なる影響を及えるかを示すこと。
• 十分に大きなブロック長に対しては、コード探索を一切行う必要がなく、任意に選択されたスパース生成行列が高確率で容量を達成することを証明すること。
• 生成行列の各行における1の密度が任意に小さい（与えられた値）場合に対しても、そのような容量を達成する符号の存在を証明すること。

提案手法

• ハイパーキューブ上での2つのランダムウォークをカップリングする、新規なデコーディング手法を用いる。1つは原点から開始され、もう1つは一様静的分布から開始される。
• 2つのウォークの出会い時刻τを定義し、τ ≤ kの条件下で原点への帰還確率を条件づける。
• カップリングを用いて、P(τ > ζn) → 0（n → ∞）を示し、これにより原点への帰還確率が(1/2)^nに収束することを示す。
• 与えられた生成行列に対する正しく検出される確率の下界を導出し、i.i.d. ベルヌーイ(ρ)分布に従うすべての行列についてその期待値を取る。
• 固定行密度ρを持つ行列に対しても分析を拡張し、低行スパarsityでさえも容量を達成する符号の存在を証明する。
• 確率的証明法を用いて、十分に大きなnに対して、任意に選択されたスパース生成行列が高確率で容量を達成することを示し、コード探索の必要性を排除する。

実験結果

リサーチクエスチョン

• RQ1 スパースパリティーチェック行列ではなく、ランダムな二進スパース生成行列を用いて、容量を達成する線形符号を構築できるか？
• RQ2 ランダムウォークカップリングに基づく劣化デコーダであっても、線形符号において容量を達成する性能を達成できるか？
• RQ3 このような符号において、生成行列のスパarsityと誤り指数の間のトレードオフは何か？
• RQ4 スパarsityが性能に顕著に影響を与えるブロック長の範囲は、小規模なnか大規模なnのどちらか？
• RQ5 生成行列の各行における1の密度が任意に小さい（与えられた値）場合に対しても、容量を達成する符号の存在を証明できるか？

主な発見

• i.i.d. ベルヌーイ(ρ)分布に従うスパース生成行列を用いたランダム線形符号の誤り確率は、ブロック長n → ∞のとき0に収束する。これにより、容量を達成する符号の存在が証明される。
• 大規模ブロック長において、ランダムスパース生成行列の性能はスパarsityに依存せず、コード探索は不要になる。
• 誤り指数はブロック長とともに指数関数的に減少し、その減少率はスパarsity ρに依存する。スパarsityと誤り指数の間には非単調なトレードオフが存在する。
• 小規模ブロック長では、よりスパースでない行列（ρが大きい）がより優れた性能を示すが、大規模nではスパarsityの影響は無視できる。
• 任意の固定行密度ρ > 0（すなわち0に限りなく近い値でも）に対して、容量を達成する線形符号の存在が証明される。
• カップリングの議論により、kステップ後の原点への帰還確率がn → ∞のとき(1/2)^nに収束することが示され、これにより期待誤り確率が消えることが示される。