[論文レビュー] Improved Bounds on the Parity-Check Density and Achievable Rates of Binary Linear Block Codes with Applications to LDPC Codes

Gil Wiechman, Igal Sason|ArXiv.org|May 23, 2005

Error Correcting Code Techniques参考文献 10被引用数 10

ひとこと要約

本稿は、記憶のない二値入力出力対称（MBIOS）チャネルにおける二値線形ブロック符号のパリティーチェック密度および達成可能なレートに関する、改善された漸近的境界を導出する。情報理論的解析とEXITに類似した関数を用いて先行の境界を精緻化することで、パリティーチェック行列のスパarsityに関するより厳しい下界および達成可能なレートに関する上界を確立し、特に、容量とのギャップに応じた密度の対数スケーリングの改善——特に反復的デコーディングにおけるLDPCコードに対して顕著である。

ABSTRACT

We derive bounds on the asymptotic density of parity-check matrices and the achievable rates of binary linear block codes transmitted over memoryless binary-input output-symmetric (MBIOS) channels. The lower bounds on the density of arbitrary parity-check matrices are expressed in terms of the gap between the rate of these codes for which reliable communication is achievable and the channel capacity, and the bounds are valid for every sequence of binary linear block codes. These bounds address the question, previously considered by Sason and Urbanke, of how sparse can parity-check matrices of binary linear block codes be as a function of the gap to capacity. Similarly to a previously reported bound by Sason and Urbanke, the new lower bounds on the parity-check density scale like the log of the inverse of the gap to capacity, but their tightness is improved (except for a binary symmetric/erasure channel, where they coincide with the previous bound). The new upper bounds on the achievable rates of binary linear block codes tighten previously reported bounds by Burshtein et al., and therefore enable to obtain tighter upper bounds on the thresholds of sequences of binary linear block codes under ML decoding. The bounds are applied to low-density parity-check (LDPC) codes, and the improvement in their tightness is exemplified numerically. The upper bounds on the achievable rates enable to assess the inherent loss in performance of various iterative decoding algorithms as compared to optimal ML decoding. The lower bounds on the asymptotic parity-check density are helpful in assessing the inherent tradeoff between the asymptotic performance of LDPC codes and their decoding complexity (per iteration) under message-passing decoding.

研究の動機と目的

• 容量とのギャップの関数として、二値線形ブロック符号の漸近的パリティーチェック密度に関する既存の下界を改善すること。
• 最大尤度（ML）デコーディング下での二値線形ブロック符号の達成可能なレートに関する上界をより厳密にすること、特に容量に近づく系列に対して特に焦点を当てる。
• 反復的デコーディングアルゴリズムと最適なMLデコーディングとの間の性能損失を、達成可能なレートとチャネル容量のギャップを定量化することで評価すること。
• LDPCコードの性能と1反復あたりのデコーディング複雑度のトレードオフを評価するためのより厳しい解析的ツールを提供すること。
• SasonとUrbanke、およびBurshteinらの先行結果を、非二値および非消去型MBIOSチャネルに対し拡張・精緻化すること。

提案手法

• 容量とのギャップ（1−ε）およびチャネル固有の定数を関数として含む、漸近的パリティーチェック密度に関する新しい下界を情報理論的議論によって導出する。
• 消去分解補題と情報処理不等式を用い、一般のMBIOSチャネルを等価な消去確率を持つ二値消去チャネル（BEC）と比較する。
• EXITに類似した関数と面積定理を用いて、MLデコーディング下でのLDPC集合の閾値特性を分析し、MeassonとUrbankeの研究に基づく。
• 密度発展の挙動をモデル化するための多項式表現 Ω(x) = ∑k dk xk を導入し、境界の妥当性を検証するための単調性特性を証明する。
• 不等式 (D.5) に依拠して、ビット誤り確率の境界の非正性に関する十分条件を確立する。この際、f(x) = (1−x)/(1−Ω(x)) の微分解析を用いる。
• 誤り確率境界関数の ε に関する単調性および連続性を証明し、境界が非正となる一意の閾値 ε₀ が存在することを保証する。

実験結果

リサーチクエスチョン

• RQ1 容量とのギャップの関数として、二値線形ブロック符号のパリティーチェック行列はどの程度スパースにできるか？
• RQ2 最大尤度デコーディング下での二値線形ブロック符号の達成可能なレートに関する、最も厳しい上界は何か？
• RQ3 反復的デコーディングと最適なMLデコーディングとの間の性能ギャップは、容量とのギャップに応じてどのようにスケーリングするか？
• RQ4 特に非消去チャネルに対して、パリティーチェック密度の境界の対数スケーリングを、以前の結果を上回るように改善できるか？
• RQ5 誤り確率境界が非正となる正確な閾値 ε₀ は何か？ また、これはコードレートおよびチャネルパラメータとどのように関係するか？

主な発見

• SasonとUrbankeの境界と比較して、定数が改善された log(1/ε) スケーリングを示す、パリティーチェック密度に関する新しい下界が得られた。ただし、BECでは正確に一致する。
• Burshtein らが以前に報告した上界が改善され、LDPCコード集合のMLデコーディング下での閾値がより厳密に特定された。
• 導出された境界は、反復的デコーディングのMLデコーディングに対する性能損失が定量的に制限され、チャネルタイプおよびコードレートに依存することを示している。
• LDPCコードに対しては、改善された境界が、特に容量に近いコードにおいて、デコーディング複雑度（1反復あたり）と漸近的性能の間の明確なトレードオフを示している。
• 式 (75) もしくは (76) の解として定義される閾値 ε₀ は、一意的かつ ε に関して連続であることが示され、誤り確率境界の明確な遷移点が保証される。
• 誤り確率境界関数の ε に関する単調性の証明により、信頼性通信が保証される一意の臨界点が存在することが確認された。