[論文レビュー] Fixed Error Asymptotics For Erasure and List Decoding

Vincent Y. F. Tan, Pierre Moulin|arXiv (Cornell University)|Feb 20, 2014

Wireless Communication Security Techniques参考文献 36被引用数 5

ひとこと要約

本稿は、離散メモリレス通信路における消去およびリストデコードの2次漸近解を導出しており、消去デコードの2次容量が $\sqrt{V}\Phi^{-1}(\epsilon_{\mathrm{t}})$ であることを示している。ここで $V$ はチャネル分散、$\epsilon_{\mathrm{t}}$ は固定された総誤り確率である。リストサイズ $\exp(\sqrt{n}l)$ のリストデコードでは、2次容量が $l + \sqrt{V}\Phi^{-1}(\epsilon)$ となり、多項式サイズのリストに対する3次項の境界も得られている。

ABSTRACT

We derive the optimum second-order coding rates, known as second-order capacities, for erasure and list decoding. For erasure decoding for discrete memoryless channels, we show that second-order capacity is $\sqrt{V}Φ^{-1}(ε_t)$ where $V$ is the channel dispersion and $ε_t$ is the total error probability, i.e., the sum of the erasure and undetected errors. We show numerically that the expected rate at finite blocklength for erasures decoding can exceed the finite blocklength channel coding rate. We also show that the analogous result also holds for lossless source coding with decoder side information, i.e., Slepian-Wolf coding. For list decoding, we consider list codes of deterministic size that scales as $\exp(\sqrt{n}l)$ and show that the second-order capacity is $l+\sqrt{V}Φ^{-1}(ε)$ where $ε$ is the permissible error probability. We also consider lists of polynomial size $n^α$ and derive bounds on the third-order coding rate in terms of the order of the polynomial $α$. These bounds are tight for symmetric and singular channels. The direct parts of the coding theorems leverage on the simple threshold decoder and converses are proved using variants of the hypothesis testing converse.

研究の動機と目的

• 固定で消えない誤り確率下での消去およびリストデコードの2次漸近限界を確立すること。
• 消去デコードの2次容量を特定し、それが検出されない誤り確率に依存しない、総誤り確率 $\epsilon_{\mathrm{t}}$ のみに依存することを示すこと。
• 非定数リストサイズを含む、指数的および多項式的増加率を有するリストデコードへの分析を拡張すること。
• 有限ブロック長性能の境界を導出し、消去を伴う期待レートが標準的なチャネル符号化レートを超える可能性があることを示すこと。
• Slepian-Wolf ソース符号化問題（デコーダーに側情報がある場合）へも結果を一般化すること。

提案手法

• しきい値デコーダーと仮説検定の逆問題技術を用いて、消去デコードの2次容量を導出する。
• Berry-Esseen 定理を用いて、経験的条件付きエントロピーの分布を近似し、誤り確率を束縛する。
• タイプクラスの列挙とバンニングの議論を用いて、Slepian-Wolf の設定における検出されない誤り確率を束縛する。
• 経験的条件付きエントロピー $\hat{H}(\mathbf{x}|\mathbf{y})$ を用いたしきい値ベースの消去ルールを導入し、総誤り確率を制御する。
• リストサイズ $\exp(\sqrt{n}l)$ および $n^\alpha$ のリストデコードを分析し、情報スペクトル法を用いて2次および3次漸近解を導出する。
• Markov 不等式と集中不等式を用いて誤り確率を制御し、達成可能性を確立する。

実験結果

リサーチクエスチョン

• RQ1 固定された総誤り確率 $\epsilon_{\mathrm{t}}$ のもとで、消去デコードの2次容量は何か？
• RQ2 有限ブロック長の消去デコードにおいて、期待レートが標準的なチャネル符号化レートを超えることは可能か？
• RQ3 リストサイズ $\exp(\sqrt{n}l)$ のリストデコードの2次容量は何か？
• RQ4 多項式サイズのリスト $n^\alpha$ に対して、3次コーディングレートはどのように振る舞うか？
• RQ5 消去およびリストデコードの2次および3次漸近解は、側情報がある Slepian-Wolf ソース符号化問題へも拡張可能か？

主な発見

• 消去デコードの2次容量は $\sqrt{V}\Phi^{-1}(\epsilon_{\mathrm{t}})$ であり、検出されない誤り確率に依存せず、$V$ はチャネル分散、$\epsilon_{\mathrm{t}}$ は総誤り確率である。
• 有限ブロック長の消去デコードでは、誤り確率が低く抑えられ、信頼性が向上するため、標準的なチャネル符号化（消去なし）よりも高い期待レートを達成できる。
• リストサイズ $\exp(\sqrt{n}l)$ のリストデコードでは、2次容量が $l + \sqrt{V}\Phi^{-1}(\epsilon)$ であり、ここで $\epsilon$ は真のメッセージがリストに含まれない確率である。
• 多項式サイズのリスト $n^\alpha$ に対しては、3次コーディングレートが有界であり、特に2値エラー付きチャネルや特異なチャネル（例：2値消去チャネル）ではこれらの境界がタイトである。
• 結果は、Slepian-Wolf ソース符号化（側情報あり）へも拡張可能であり、固定された総誤り確率 $\epsilon_{\mathrm{t}}$ に対して2次容量は $\sqrt{V(X|Y)}\Phi^{-1}(1 - \epsilon_{\mathrm{t}})$ である。
• 逆問題の証明は仮説検定の逆問題の変種に依存し、達成可能性はしきい値デコーディングとバンニングを用いたタイプベースの解析によって示されている。