[論文レビュー] Statistical Mechanical Analysis of Low-Density Parity-Check Codes on General Markov Channel

Ryuhei Mori, Toshiyuki Tanaka|arXiv (Cornell University)|Oct 10, 2011

Error Correcting Code Techniques参考文献 21被引用数 3

ひとこと要約

本稿では、統計力学、特にレプリカ法を用いて一般のマルコフおよび非対称な記憶なしチャネルにおける低密度パリティーチェック（LDPC）符号の解析を実施する。密度推定法による信念伝播デコードの密度発展方程式と正確に一致する鞍点方程式を導出し、統計物理学と反復的デコード閾値の間の厳密な関係を確立する。特に、2進対称チャネル（BSC）および2進消去チャネル（BEC）に対して明示的な結果が得られ、既知の境界と一致する。

ABSTRACT

Low-density parity-check (LDPC) codes on symmetric memoryless channels have been analyzed using statistical physics by several authors. In this paper, statistical mechanical analysis of LDPC codes is performed for asymmetric memoryless channels and general Markov channels. It is shown that the saddle point equations of the replica symmetric solution for a Markov channel is equivalent to the density evolution of the belief propagation on the factor graph representing LDPC codes on the Markov channel. The derivation uses the method of types for Markov chain.

研究の動機と目的

• 対称的記憶なしチャネルからのLDPC符号の統計的力学的解析を、一般の非対称的およびマルコフ的チャネルへと拡張すること。
• 密度発展法を通じて、レプリカ法と信念伝播デコードの間の厳密な関係を確立すること。
• マルコフ連鎖のタイプ法を用いて、期待される条件付きエントロピーおよびデコード閾値の解析的表現を導出すること。
• 特に2進消去チャネル（BEC）および2進対称チャネル（BSC）において、レプリカ法の予測が既知の境界および数値結果と整合することを検証すること。

提案手法

• レプリカ法を用いて、符号語の条件付きエントロピーのクエンチド平均（期待値）を計算する。
• マルコフ連鎖のタイプ法を用いてチャネルの記憶を扱い、i.i.d.入力に関する先行研究を一般化する。
• レプリカ対称解のための鞍点方程式を導出し、それが Tanner 図における信念伝播の密度発展方程式と数学的に同等であることを示す。
• キャビティ法の手法を用いてメッセージパッシングのダイナミクスを計算し、変数ノードおよびチェックノードのメッセージにオーダーパラメータを定義する。
• レプリカ対称自由エネルギーをメッセージ分布に関して極小化し、誤り確率の自己無撞着な方程式の集合を導出する。
• 得られた方程式を正則LDPC集合に対して数値的に解き、期待される条件付きエントロピーおよびデコード閾値を算出する。

実験結果

リサーチクエスチョン

• RQ1 レプリカ法は、記憶および非対称性を有する一般のマルコフチャネルにおけるLDPC符号の解析に拡張可能か？
• RQ2 マルコフチャネルにおけるLDPC符号のレプリカ対称解は、信念伝播の密度発展方程式と等価か？
• RQ3 非対称的およびマルコフ的チャネルにおける信念伝播（BP）および周辺確率最大化（MAP）デコードの閾値は何か？
• RQ4 2進消去チャネル（BEC）における異なる正則LDPC符号集合について、BPとMAPの閾値はどのように比較されるか？
• RQ5 レプリカ法は、半率コードにおける既知のシャノン限界のような解析的境界と一貫性を持つ結果をもたらすか？

主な発見

• レプリカ法から導出された鞍点方程式は、一般のマルコフチャネルにおけるLDPC符号の Tanner 図における信念伝播の密度発展方程式と正確に一致する。
• 2進消去チャネル（BEC）において、レプリカ法は (3,6)-正則LDPC集合に対してBP閾値約0.56891およびMAP閾値0.63865を予測する。
• (2,4)-正則LDPC集合は、記憶なしチャネルにおける挙動とは対照的に、(3,6)-集合よりも高いBP閾値を示す。
• 期待される条件付きエントロピーは、MAP閾値を超えると正の値をとり、デコードが成功したことを示す。一方、一部の領域で負の値が得られるため、非負のエントロピーを保つために自明な鞍点を選択する必要がある。
• 以前の研究で得られたMAP閾値の上界がタイトであることが確認され、半率コードにおける既知のシャノン限界と整合する結果が得られた。