[論文レビュー] An Efficient MN-Algorithm for Joint Source-Channel Coding

Haggai Kfir, Eyal Shpilman+1 more|arXiv (Cornell University)|Dec 21, 2004

Error Correcting Code Techniques参考文献 11被引用数 4

ひとこと要約

本稿では、マルコフ源の統計から導出された動的ブロック事前分布（DBP）を用いた信念伝播による効率的なMNアルゴリズムを、共同ソース・チャネル符号化に提案する。遷移行列Tを用いてシンボル相関を側情報として活用することで、圧縮されたソースでさえシャノンの限界に近い性能を達成し、分離方式を上回り、2次元／3次元シンボル配列において低複雑度のデコーディングを可能にする。

ABSTRACT

Belief Propagation (BP) decoding of LDPC codes is extended to the case of Joint Source-Channel coding. The uncompressed source is treated as a Markov process, characterized by a transition matrix, T, which is utilized as side information for the Joint scheme. The method is based on the ability to calculate a Dynamical Block Prior (DBP), for each decoded symbol separately, and re-estimate this prior after every iteration of the BP decoder. We demonstrate the implementation of this method using MacKay and Neel's LDPC algorithm over GF(q), and present simulation results indicating that the proposed scheme is comparable with Separation scheme, even when advanced compression algorithms (such as AC, PPM) are used. The extension to 2D (and higher) arrays of symbols is straight-forward. The possibility of using the proposed scheme without side information is briefly sketched.

研究の動機と目的

• 分離に基づく手法を上回るデコーディング性能を向上させるために、ソース相関を活用する共同ソース・チャネル符号化方式の開発。
• 遷移行列Tを介してソースのマルコフ統計を側情報として組み込むことで、デコーディングの複雑度とオーバーヘッドを低減。
• テキストやビットマップなどの圧縮されていないデータに対して、実用的な共同符号化の実装を可能にし、1ビットエラーに耐性を持つこと。
• EMアルゴリズムを用いて遷移行列Tを受信したシンディームから推定することで、明示的な側情報なしに共同デコーディングが可能かどうかの検討。
• 2次元／3次元シンボル配列への拡張を図りながら、ベイズ的およびマルコフ的仮定を用いてデコーディングの複雑度を低く保つこと。

提案手法

• マックェイとニールのGF(q)上でのLDPCアルゴリズムを、非i.i.d.ソース系列を扱えるように拡張し、ソースを遷移行列Tを有するマルコフ過程としてモデル化する。
• 変数ノードがソースおよびノイズシンボルを表し、チェックノードが行列AおよびBから導かれるパリティーチェック方程式を表す二部グラフ上で信念伝播（BP）を用いる。
• スパarsityとシステム的構造を保証するため、行列AおよびBにKS構成法を適用し、効率的な計算と容量近接性能を実現する。
• 側情報が送信されない場合に、受信したシンディームベクトルzからTを推定するためにEMアルゴリズムを用い、ブラインドデコーディングを可能にする。
• 遷移行列Tのスパarsityを活用し、各シンボルあたりO(q²)の計算を避けるためにベイズ推論を用いることで、計算複雑度を低減する。
• 各シンボルあたりの反復的再推定に基づき、現在の信念状態とマルコフ遷移行列Tを用いて動的ブロック事前分布（DBP）を繰り返し再推定する。

実験結果

リサーチクエスチョン

• RQ1 マルコフ源の統計を用いた共同ソース・チャネル符号化は、分離符号化と比較してデコーディング性能を向上させることができるか？
• RQ2 マルコフ源の遷移行列Tを信念伝播デコーディングにおける側情報として効果的に活用することで、信頼性が向上するか？
• RQ3 特に高度な圧縮アルゴリズムを用いた場合に、提案されたDBPに基づくデコーディングは、従来の分離方式に比べてどの程度の性能向上を達成するか？
• RQ4 EMアルゴリズムを用いて受信シンディームからTを推定することで、側情報の送信なしに共同デコーディングが可能になるか？
• RQ5 2次元または3次元シンボル配列における、アルファベットサイズqと次元dの増加に伴うデコーダーの複雑度のスケーリング特性はいかなるものか？

主な発見

• 提案された共同符号化方式は、ACやPPMなどの高度な圧縮アルゴリズムを用いても、分離方式と同等の性能を達成する。
• Tのq個の最大値のみを側情報として使用した場合、臨界ノイズレベルfcはわずかに低下するが、側情報サイズは顕著に削減される。
• GF(2)およびR=1/3の場合、有効ノイズレートfeffは2f(1−f)に等しくなる。これにより、シンディームベクトルからソース統計を推定可能である。
• 1反復あたりのデコーダー複雑度はO(kq²)とされるが、Tがスパースの場合にはO(kq²)に低減され、d次元配列ではベイズ的およびマルコフ的仮定を用いてさらにO(k^d q²)に低減される。
• 本手法は2次元およびそれ以上の次元のシンボル配列へも拡張可能であり、ベイズ的およびマルコフ的仮定のもとで複雑度がO(k^d q²)にスケーリングする。
• シミュレーション結果から、最適化された符号が用いられると、本方式はシャノンの下界に近づくことが示され、容量近接性能であることが確認された。