[論文レビュー] A simpler derivation of the coding theorem

Yuval Lomnitz, Meir Feder|arXiv (Cornell University)|May 7, 2012

Wireless Communication Security Techniques参考文献 7被引用数 4

ひとこと要約

本稿では、典型性や漸近的等確率性（AEP）を避けて、Markovの不等式のみを用いたシャノンのチャネル符号化定理の簡略化された導出を提示する。2つの誤り確率をMarkovの不等式で評価し、大数の法則を適用することで、相互情報量が自然に導かれ、相互情報量未満のレートが達成可能であることが示され、容量は入力分布の最適化によって得られる。

ABSTRACT

A simple proof for the Shannon coding theorem, using only the Markov inequality, is presented. The technique is useful for didactic purposes, since it does not require many preliminaries and the information density and mutual information follow naturally in the proof. It may also be applicable to situations where typicality is not natural.

研究の動機と目的

• 典型性やAEPに依存しない、教育的・直感的なチャネル符号化定理の証明を提供すること。
• 基本的な確率的境界から、相互情報量と情報密度が自然に出現することを示すこと。
• 標準のAEPに基づく手法が適用できない非定常的・非典型な設定に対しても適用可能な証明手法を提供すること。
• Markovの不等式が、容量に近い領域でも十分にきつい誤り確率の境界を与えることの証明。
• 最小限の道具で十分に、容量の導出と情報密度の概念を統一すること。

提案手法

• 最大尤度復元における、ランダムな符号語が真の符号語を上回る確率（2点誤り確率）をMarkovの不等式で評価する。
• 正規化された対数尤度比 $ \frac{1}{n} \log \frac{P_Y(\mathbf{Y})}{P_{Y|X}(\mathbf{Y}|\mathbf{X})} $ に大数の法則を適用し、$ -I(X;Y) $ に収束することを示す。
• 条件付き誤り確率の境界 $ P_{e|xy} \leq 2^{nR} \cdot \frac{P_Y(\mathbf{Y})}{P_{Y|X}(\mathbf{Y}|\mathbf{X})} $ を導出し、これは $ 2^{nR - i} $ に等しい（$ i $ は情報密度）。
• 強大数の法則を用いて、正規化された情報密度 $ i/n $ を漸近的に平均 $ I $、分散 $ V/n $ の正規分布としてモデル化し、正規近似を可能にする。
• 和集合の不等式と尾確率の推定を適用し、全体の誤り確率 $ P_e \leq \epsilon + 2^{-n(I - \delta - R)} $ を導出し、$ R < I $ のとき誤り確率が消えることを示す。
• 確率質量関数（PMF）を確率密度関数（PDF）と微分エントロピーに置き換えることで、連続チャネルへの応用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 典型性や漸近的等確率性（AEP）を用いずに、チャネル符号化定理を証明できるか？
• RQ2 Markovの不等式は、特に容量に近い領域において、誤り確率の境界として十分にきついものか？
• RQ3 この導出において、情報密度と相互情報量は、基本的な確率的道具からどれほど自然に出現するか？
• RQ4 このアプローチは、典型性が自然な仮定でないチャネルへ一般化可能か？
• RQ5 このMarkovに基づく境界と、シャノンの元々の情報密度の議論との関係は何か？

主な発見

• 任意のレート $ R < I(X;Y) $ が達成可能であり、誤り確率が $ 2^{-n(I - R - \delta)} $ の指数関数的に減少することを証明し、容量を達成する符号語の存在を示した。
• 相互情報量 $ I(X;Y) $ は、事前に定義せずとも、正規化された対数尤度比 $ \frac{1}{n} \log \frac{P_Y(\mathbf{Y})}{P_{Y|X}(\mathbf{Y}|\mathbf{X})} $ の極限として自然に出現する。
• 有限ブロック長のチャネルに対して正規近似が導出され、$ R \approx I - \sqrt{\frac{V}{n}} Q^{-1}(\epsilon) $ が得られ、ここで $ V $ はチャネル分散である。
• Markovの不等式による境界 $ \mathrm{Pr}\{E_m \mid \mathbf{X},\mathbf{Y}\} \leq \frac{P_Y(\mathbf{Y})}{P_{Y|X}(\mathbf{Y}|\mathbf{X})} $ が、ベイズの定理と確率的推論により、シャノンの元々の境界と同等であることが示された。
• タイプ理論や大偏差理論のような複雑な道具を必要とせず、Markovの不等式、基本的な確率論、大数の法則のみに依存する。
• 確率質量関数（PMF）を確率密度関数（PDF）と微分エントロピーに置き換えることで、連続チャネルへの応用が可能である。