[論文レビュー] The Log-Volume of Optimal Codes for Memoryless Channels, Within A Few Nats.

Pierre Moulin|arXiv (Cornell University)|Nov 1, 2013

Wireless Communication Security Techniques被引用数 17

ひとこと要約

この論文は、無記憶的通信路における最適コードの対数体積のタイトな漸近的境界を確立し、平均誤り確率 $\epsilon$ における最大コードサイズ $M_\text{avg}^*(n,\epsilon)$ が $nC - \sqrt{nV_\epsilon} Q^{-1}(\epsilon) + \frac{1}{2} \log n$ に定数項の差（弱い対称的通信路では最大1ナット、他の対称的通信路では数ナット）を加えた形でスケーリングすることを示している。解析には強大偏差法と洗練された中心極限定理の漸近的解析を用い、$O(1/\sqrt{n})$-補正付きの容量を達成する入力分布を用いた確率的符号化方式により下界が達成される。

ABSTRACT

Shannon's analysis of the fundamental capacity limits for memoryless communication channels has been refined over time. In this paper, the maximum volume $M_\avg^*(n,\epsilon)$ of length-$n$ codes subject to an average decoding error probability $\epsilon$ is shown to satisfy the following tight asymptotic lower and upper bounds as $n o \infty$: \[ \underline{A}_\epsilon + o(1) \le \log M_\avg^*(n,\epsilon) - [nC - \sqrt{nV_\epsilon} \,Q^{-1}(\epsilon) + \frac{1}{2} \log n] \le \overline{A}_\epsilon + o(1) \] where $C$ is the Shannon capacity, $V_\epsilon$ the $\epsilon$-channel dispersion, or second-order coding rate, $Q$ the tail probability of the normal distribution, and the constants $\underline{A}_\epsilon$ and $\overline{A}_\epsilon$ are explicitly identified. This expression holds under mild regularity assumptions on the channel, including nonsingularity. The gap $\overline{A}_\epsilon - \underline{A}_\epsilon$ is one nat for weakly symmetric channels in the Cover-Thomas sense, and typically a few nats for other symmetric channels, for the binary symmetric channel, and for the $Z$ channel. The derivation is based on strong large-deviations analysis and refined central limit asymptotics. A random coding scheme that achieves the lower bound is presented. The codewords are drawn from a capacity-achieving input distribution modified by an $O(1/\sqrt{n})$ correction term.

研究の動機と目的

• 平均誤り確率 $\epsilon$ の下で最適コードの第二位の符号化行動を定量化することにより、シャノンの容量解析を精緻化すること。
• 無記憶的通信路における最適コードの対数体積のタイトな漸近的下界および上界を確立し、$O(1)$ 項における正確な定数を特定すること。
• 上界と下界の正確な差を同定し、弱い対称的通信路では最大1ナット、他の対称的通信路（BSC や $Z$-チャネルを含む）では数ナットであることを示すこと。
• 容量を達成する入力分布に $O(1/\sqrt{n})$ の補正項を加えた小さな摂動を施した確率的符号化方式を考案し、下界を達成すること。

提案手法

• 強大偏差解析と洗練された中心極限定理の漸近的解析を用いて、$\log M_\text{avg}^*(n,\epsilon)$ のタイトな漸近的境界を導出する。
• 第二位の近似 $nC - \sqrt{nV_\epsilon} Q^{-1}(\epsilon) + \frac{1}{2} \log n$ からのずれにおける定数 $\underline{A}_\epsilon$ と $\overline{A}_\epsilon$ を特定する。
• $Q^{-1}(\epsilon)$ 関数を用いて誤り確率の尾部をモデル化し、境界を正規分布の分位数に関連付ける。
• 符号語を容量を達成する入力分布から取り、$O(1/\sqrt{n})$ の補正項を加えることで下界を達成する確率的符号化方式を提案する。
• 非特異性を含むやや弱い正則性条件のもとで境界を確立し、弱い対称的通信路および他の対称的通信路においてそのタイトさを検証する。

実験結果

リサーチクエスチョン

• RQ1 無記憶的通信路における最適コードの対数体積の漸近的展開における正確な定数項は何か？
• RQ2 上界と下界のタイトさはどの程度で、異なるチャネルタイプにおけるそれらの差は何か？
• RQ3 容量を達成する入力分布に小さな摂動（$O(1/\sqrt{n})$ の補正）を加えた確率的符号化方式は、下界を達成できるか？
• RQ4 チャネル分散 $V_\epsilon$ で特徴づけられる第二位の符号化行動は、シャノンの容量式をどのように精緻化するか？

主な発見

• 最適コードの対数体積は $\log M_\text{avg}^*(n,\epsilon) = nC - \sqrt{nV_\epsilon} Q^{-1}(\epsilon) + \frac{1}{2} \log n + \underline{A}_\epsilon + o(1)$ を満たし、$\underline{A}_\epsilon$ が明示的に特定されている。
• 弱い対称的通信路では、カバー＝トーマスの意味で上界と下界の差が正確に1ナットである。
• 他の対称的通信路（特に二進対称チャネルや $Z$-チャネル）では、差が通常数ナットである。
• $O(1/\sqrt{n})$ の補正項を加えた容量を達成する入力分布を用いた確率的符号化方式により、下界が達成される。
• 非特異性を含むやや弱い正則性仮定のもとで解析が成り立ち、強大偏差法と洗練された中心極限定理の漸近的解析に依存している。