[論文レビュー] De-randomizing Shannon: The Design and Analysis of a Capacity-Achieving Rateless Code

Hari Balakrishnan, Peter A. Iannucci+2 more|arXiv (Cornell University)|Jun 2, 2012

Error Correcting Code Techniques被引用数 36

ひとこと要約

この論文は、多項式時間のエンコーダおよびデコーダを用いて、二進対称通信路（BSC）および加法性白色ガウスノイズ（AWGN）通信路におけるシャノン容量に到達する、新しいクラスのレートレスコード「スパインコード」を紹介する。この手法は、シャノンのランダムなコードブック構築法をデランダマイズするための逐次的適用された一様独立ハッシュ関数を活用し、強力な木の刈り込みを用いて効率的なデコーディングを実現しながら、容量到達性能を維持する。

ABSTRACT

This paper presents an analysis of spinal codes, a class of rateless codes proposed recently. We prove that spinal codes achieve Shannon capacity for the binary symmetric channel (BSC) and the additive white Gaussian noise (AWGN) channel with an efficient polynomial-time encoder and decoder. They are the first rateless codes with proofs of these properties for BSC and AWGN. The key idea in the spinal code is the sequential application of a hash function over the message bits. The sequential structure of the code turns out to be crucial for efficient decoding. Moreover, counter to the wisdom of having an expander structure in good codes, we show that the spinal code, despite its sequential structure, achieves capacity. The pseudo-randomness provided by a hash function suffices for this purpose. Our proof introduces a variant of Gallager's result characterizing the error exponent of random codes for any memoryless channel. We present a novel application of these error-exponent results within the framework of an efficient sequential code. The application of a hash function over the message bits provides a methodical and effective way to de-randomize Shannon's random codebook construction.

研究の動機と目的

• BSCおよびAWGNチャネルにおいて、効率的な多項式時間符号化とデコードを実現するレートレスコードを設計すること。
• シャノンの元来のランダムコードブック構築法の計算的非効率性を、ハッシュ関数を用いたデランダマイズによって克服すること。
• 従来のエキスパンダ型構造を好む一般的な認識とは対照的に、十分な擬似ランダム性を備えた逐次的コード構造が、容量到達を実現できることを示すこと。
• 情報理論におけるランダム符号化の議論を一般化し、ガラージェの誤り指数フレームワークに依存するものに対して、デランダマイズの一般的手法を提供すること。
• バイナリ消失チャネルにおける進展にもかかわらず、未解決のままであったBSCにおける容量到達レートレスコードに関する未解決の問題を解消すること。

提案手法

• エンコーダは、メッセージビットのグループに逐次的に一様独立ハッシュ関数を適用して符号記号を生成し、畳み込み符号に類似したスパイン構造を形成する。
• BSCの場合、エンコーダはハッシュ出力をもとに出力記号を生成し、ハッシュ値の二進表現を用いて符号ビットを生成する。
• AWGNチャネルの場合、エンコーダはハッシュ出力を逆ガウス累積分布関数を用いて実数値記号にマッピングし、パワー制約を満たし、近似的にガウス分布を再現する。
• 最大尤度デコーダは、可能なメッセージビットの集合に対してデコード木を構築し、BSCではハミング距離、AWGNでは二乗ユークリッド距離を用いて尤もらしさを評価する。
• 強力な刈り込み戦略により、デコード木のサイズを多項式時間に制限し、高い信頼性と容量近接性能を維持する。
• 証明では、ガラージェの誤り指数結果の変種を、伝統的でない逐次的コードに適用し、ハッシュ関数による擬似ランダム性が容量到達性能に十分であることを示している。

実験結果

リサーチクエスチョン

• RQ1 多項式時間符号化とデコードを実現するレートレスコードは、BSCにおいてシャノン容量に到達できるか？
• RQ2 同様の構成は、ビット反転モデルが消失モデルよりも適切なAWGNチャネルでも容量に到達できるか？
• RQ3 エキスパンダ型構造を欠いた逐次的コード構造は、十分な擬似ランダム性を備えた場合でも、依然として容量に到達できるか？
• RQ4 ハッシュ関数を用いて、シャノンのランダムコードブック構築法を効果的にデランダマイズし、実用的で容量到達可能な符号を導出できるか？
• RQ5 ガラージェの誤り指数フレームワークは、非ランダムで構造化された符号に適用可能であり、容量到達性能の証明に役立つのか？

主な発見

• スパインコードは、ブロック長に指数関数的に減少する誤り確率を伴い、BSCにおいてレートが $ C_{\text{BSC}} = 1 - H(p) $ に限りなく近づく。
• AWGNチャネルにおいて、スパインコードは確率的に高い確率でレート $ R \geq C_{\text{awgn}}(P) - O(1/k) $ を達成し、多項式時間でデコード可能であり、ここで $ C_{\text{awgn}}(P) = \frac{1}{2} \log(1 + \text{SNR}) $ である。
• 適切なパrameter設定下で、デコーダは $ O(k^2 \log n) $ メッセージビットを除き、確率 $ 1 - 1/n^2 $ 以上で正しくデコードする。
• 必要なデコード時間は $ B = n^{O(k^2)} $ に上限づけられ、これは $ n $ に対して多項式的であるため、デコードプロセスは効率的である。
• エキスパンダ構造を欠いても、スパインコードは容量に到達する。これは、一様独立ハッシュによる擬似ランダム性が、容量到達性能に十分であることを示している。
• 証明により、ガラージェの誤り指数結果が逐次的かつ決定的符号に新たな応用がなされ、シャノンの存在的コードブック構築法のデランダマイズが可能であることが確立された。