[論文レビュー] Iterative Quantization Using Codes On Graphs

Emin Martinian, Jonathan S. Yedidia|arXiv (Cornell University)|Aug 2, 2004

Error Correcting Code Techniques参考文献 4被引用数 94

ひとこと要約

この論文は、近似的に最適なソース符号化のため、反復的メッセージスイーピングアルゴリズムを用いたグラフ上の符号の使用を提案している。特に、二値消去量子化（BEQ）問題に対して適用している。チャネル符号化とソース符号化の双対性を活用することで、二値消去チャネル（BEC）における容量を達成する符号の双対が、BEQにおけるレート・リダクションに近い符号を生み出すことを示しており、効率的な反復的符号化・復号化が可能であり、低密度パリティーチェック（LDPC）符号よりもレート効率が優れている。

ABSTRACT

We study codes on graphs combined with an iterative message passing algorithm for quantization. Specifically, we consider the binary erasure quantization (BEQ) problem which is the dual of the binary erasure channel (BEC) coding problem. We show that duals of capacity achieving codes for the BEC yield codes which approach the minimum possible rate for the BEQ. In contrast, low density parity check codes cannot achieve the minimum rate unless their density grows at least logarithmically with block length. Furthermore, we show that duals of efficient iterative decoding algorithms for the BEC yield efficient encoding algorithms for the BEQ. Hence our results suggest that graphical models may yield near optimal codes in source coding as well as in channel coding and that duality plays a key role in such constructions.

研究の動機と目的

• グラフィカルモデルと反復的アルゴリズム—チャネル符号化で成功を収めたもの—が、近似的に最適なソース符号化に適応可能かどうかを検討すること。
• 従来のシステム、例えばエントロピー符号化スカラ量子化（ECSQ）やトレリス符号化量子化（TCQ）と比較して、中程度のレートにおける反復的量子化の潜在的な利点を調査すること。
• 二値消去チャネル（BEC）におけるエラー訂正符号と、二値消去量子化（BEQ）問題における量子化符号との間の双対性フレームワークを確立すること。
• 容量を達成するBEC符号の双対が、BEQにおけるレート・リダクションに近い符号を生み出し、効率的な反復的符号化・復号化を可能にすることを示すこと。

提案手法

• 論文は、ソース符号化とチャネル符号化の双対性を用いて、二値消去量子化（BEQ）問題を二値消去チャネル（BEC）符号化問題の双対として定式化している。
• 反復的メッセージスイーピングアルゴリズムを双対符号構造に適用し、双対符号 $\mathcal{C}^\perp$ の生成行列を用いて量子化信号の符号化と復号化を実行している。
• 復号化プロセスは、双対グラフ上で反復的な消去回復問題に再定式化されており、パリティーチェック行列から導かれる線形方程式を用いて、消去された位置を解消している。
• 変数のうち、ちょうど1つの未消去チェックを持つものだけを追跡するデータ構造を用いることで、$\mathcal{O}(d \cdot n)$ 時間で効率的なメッセージスイーピングと変数代入が可能になっている。
• 双対符号行列がフルカラムランクである場合に限り、復号化が成功することが保証されており、任意の入力に対して解が存在することを保証している。
• 理論的解析により、双対符号の反復的復号化が、直接的に反復的量子化に対応しており、効率性と正しさが保たれていることが証明されている。

実験結果

リサーチクエスチョン

• RQ1 チャネル符号化から得られる反復的復号化技術が、特にBEQ問題に対して、ソース符号化に適切に双対化可能かどうか。
• RQ2 BECにおける容量を達成する符号の双対が、BEQ問題における理論的最小レートに近い符号を生み出すかどうか。
• RQ3 反復的メッセージスイーピングアルゴリズムが、符号語から大きく離れた入力に対しても、効率的に動作可能かどうか。
• RQ4 BEQ環境下において、LDPC符号の双対のレート効率が、容量を達成する符号と比較してどうなるか。
• RQ5 BECとBEQの双対性を用いて、BEQ用の効率的な符号化・復号化アルゴリズムを導出可能かどうか。

主な発見

• BECにおける容量を達成する符号の双対は、BEQ問題における最小レートに近い符号を生み出し、レート・リダクションの限界 $R(D=0) = 1 - e$ を達成している。
• 一方で、BEQ用の低密度パリティーチェック（LDPC）符号は、ブロック長に比例して少なくとも対数的に密度が増加しない限り、最小レートに到達できない。
• BEQ復号化のための反復的メッセージスイーピングアルゴリズムは、$\mathcal{O}(d \cdot n)$ 時間で効率的に実行可能であり、$d$ は平均次数、$n$ はブロック長を表す。
• 双対符号行列がフルカラムランクである場合に限り、任意の入力ベクトル $\vec{z}$ に対して復号化が成功することが保証されており、解が存在することが保証されている。
• BECとBEQの双対性により、BEC復号化から導かれる反復的復号化アルゴリズムを用いて、BEQの効率的な符号化が可能となり、低複雑性が維持されている。
• 理論的結果により、反復的量子化アルゴリズムが正しく動作し、有限時間内に入力の未消去位置と一致する有効な符号語を出力することが確認されている。