[論文レビュー] Empirical distribution of good channel codes with non-vanishing error probability (extended version)

Yury Polyanskiy, Sergio Verdú|arXiv (Cornell University)|Aug 31, 2013

Wireless Communication Security Techniques参考文献 24被引用数 3

ひとこと要約

本稿は、非消滅誤り確率を有する良好なチャネル符号に対して、経験的出力分布が強い意味で容量を達成する出力分布に近似的に一致することを確立する。集中法則と等周性を用いて、チャネル出力の正規関数は本質的に確率的でなく、特定の符号設計に依存しないことを示し、AWGN符号における2次および高次モーメントが、i.i.d. ガウス符号のそれらに収束することを示す。

ABSTRACT

This paper studies several properties of channel codes that approach the fundamental limits of a given (discrete or Gaussian) memoryless channel with a non-vanishing probability of error. The output distribution induced by an $ε$-capacity-achieving code is shown to be close in a strong sense to the capacity achieving output distribution. Relying on the concentration of measure (isoperimetry) property enjoyed by the latter, it is shown that regular (Lipschitz) functions of channel outputs can be precisely estimated and turn out to be essentially non-random and independent of the actual code. It is also shown that the output distribution of a good code and the capacity achieving one cannot be distinguished with exponential reliability. The random process produced at the output of the channel is shown to satisfy the asymptotic equipartition property. Using related methods it is shown that quadratic forms and sums of $q$-th powers when evaluated at codewords of good AWGN codes approach the values obtained from a randomly generated Gaussian codeword.

研究の動機と目的

• 誤り確率が消滅しない場合の良好なチャネル符号の経験的出力分布を特徴づけること。
• 誤り確率が消滅する必要がある従来の符号ブック分布収束結果を、非消滅誤り領域へ拡張すること。
• チャネル出力の正規関数が、符号設計に依存せず、きわめて集中しており、本質的に確率的でないことを示すこと。
• 良好な符号の出力分布が、指数的信頼性において容量を達成する分布と区別できないことを確立すること。
• 良好なAWGN符号における2次形式およびq次累乗和が、i.i.d. ガウス符号のそれらに収束することを示すこと。

提案手法

• 容量を達成する出力分布の集中法則（等周性）特性を活用し、チャネル出力の正規関数（リプシッツ連続関数）の挙動を分析する。
• 相対エントロピーの境界を用いて、良好な符号の出力分布と容量を達成する分布との距離を定量的に評価する。
• ガウスの等周不等式を適用し、容量を達成する測度下でのチャネル出力のℓ4およびℓ2ノルムの尾部確率を導出する。
• β-発散とその下界を用いて、符号の出力分布と容量を達成する分布を比較する。良好な符号が容量からO(√n)の範囲内でレートを達成することを踏まえる。
• 典型的集合からのずれ項を組み込んだ修正版の命題11を用いて、符号語のℓ4ノルムの期待値の下界を導出する。
• 三角不等式およびミンコフスキー和の性質を用いて、異なるノルムの集中境界を統合し、出力分布における指数的尾部境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 誤り確率が消滅しない良好なチャネル符号の出力分布は、容量を達成する出力分布とどのように比較できるか？
• RQ2 誤り確率がゼロから離れている場合でも、チャネル出力の正規関数は特定の符号に依存せず近似可能か？
• RQ3 良好な符号の出力分布は、どの程度まで指数的信頼性において容量を達成する分布と区別できないか？
• RQ4 AWGN符号において、2次および高次モーメントが、同じレートと誤り確率領域下で、i.i.d. ガウス符号のそれらに収束するか？
• RQ5 容量からO(√n)の範囲でレートを達成する符号において、符号語のℓ4ノルムとエネルギー制約の関係は何か？

主な発見

• ϵ-容量を達成する符号の出力分布と容量を達成する出力分布との間の正規化相対エントロピーは、容量と符号レートの差によって上界が与えられる。
• 良好な符号の出力分布と容量を達成する分布は、β-発散の境界がexp(−b₁δ²√n)の速度で減少することから、指数的信頼性において区別できない。
• チャネル出力の正規関数の分布は、容量を達成する測度下で期待値の周囲にきわめて集中しており、これはそれらが本質的に確率的でなく符号設計に依存しないことを示唆する。
• 容量からO(√n)の範囃でレートを達成するAWGN符号において、出力の4乗和の期待値は、i.i.d. ガウス符号のそれらに収束し、ずれ項はn^{1/4}のオーダーである。
• 出力ベクトルのℓ4ノルムは、6^{1/4}√(1+P)n^{1/4}の周囲にきわめて集中しており、尾部確率はexp(−b₁δ²√n)で有界である。これは強い集中を示している。
• O(√n)-レート符号下で符号語のℓ4ノルムを制御できないため、ℓ6ノルムを境界づける手法は失敗する。反例によってその限界が示されている。