[論文レビュー] Jar Decoding: Non-Asymptotic Converse Coding Theorems, Taylor-Type Expansion, and Optimality

En‐hui Yang, Jin Meng|arXiv (Cornell University)|Apr 16, 2012

DNA and Biological Computing参考文献 3被引用数 11

ひとこと要約

本稿では、『外側のジャーダン鏡』技術を用いた非漸近的逆定理の導出により、有限ブロック長におけるチャネル符号化においてジャーダンデコードが2次的に最適であることを確立している。最適符号化レート $ R_n(\theta) $ が $ \delta_{t,n}(\epsilon) $ のテイラー型展開をもつことを示し、最初の2項が容量を達成する相互情報量から補正項を差し引いた形となっており、NEP近似式が $ R_n(\epsilon) $ の推定において正規近似およびSO近似を上回ることを証明している。

ABSTRACT

Recently, a new decoding rule called jar decoding was proposed; under jar decoding, a non-asymptotic achievable tradeoff between the coding rate and word error probability was also established for any discrete input memoryless channel with discrete or continuous output (DIMC). Along the path of non-asymptotic analysis, in this paper, it is further shown that jar decoding is actually optimal up to the second order coding performance by establishing new non-asymptotic converse coding theorems, and determining the Taylor expansion of the (best) coding rate $R_n (ε)$ of finite block length for any block length $n$ and word error probability $ε$ up to the second order. Finally, based on the Taylor-type expansion and the new converses, two approximation formulas for $R_n (ε)$ (dubbed "SO" and "NEP") are provided; they are further evaluated and compared against some of the best bounds known so far, as well as the normal approximation of $R_n (ε)$ revisited recently in the literature. It turns out that while the normal approximation is all over the map, i.e. sometime below achievable bounds and sometime above converse bounds, the SO approximation is much more reliable as it is always below converses; in the meantime, the NEP approximation is the best among the three and always provides an accurate estimation for $R_n (ε)$. An important implication arising from the Taylor-type expansion of $R_n (ε)$ is that in the practical non-asymptotic regime, the optimal marginal codeword symbol distribution is not necessarily a capacity achieving distribution.

研究の動機と目的

• 任意のチャネル符号化方式、特に有限ブロック長に対して非漸近的逆定理を確立すること。
• 有限な $ n $ および誤り確率 $ \epsilon $ における、達成可能な最良の符号化レート $ R_n(\epsilon) $ を2次性能まで特定すること。
• ジャーダンデコードの最適性を、その性能が2次漸近限界と一致することを示すことにより証明すること。
• SOおよびNEPを含む、$ R_n(\epsilon) $ の正確な近似式の開発と、既知の境界との比較による信頼性の評価。
• 非漸近的領域において、符号語記号の最適入力分布が、必ずしも容量を達成するものではないことを明らかにすること。

提案手法

• 任意の符号化およびデコード方式に対して非漸近的逆定理を導出するための新規な逆証明技法『外側のジャーダン鏡』を導入する。
• 入力分布 $ t $ に対して、誤り確率 $ \epsilon $ とブロック長 $ n $ の相対的大きさを測るための重要な量 $ \delta_{t,n}(\epsilon) $ を定義する。
• 最適符号化レート $ R_n(\epsilon) $ を $ \delta_{t,n}(\epsilon) $ の周りにテイラー型展開し、最初の2項が $ \max_t[I(t;P) - \delta_{t,n}(\epsilon)] $ に一致することを確立する。
• 条件 $ \delta_{t^*,n}(\epsilon) = \Omega(\sqrt{\ln n / n}) $ の下で、3次項が $ O(\delta_{t^*,n}^2(\epsilon)) $ であることを示し、ジャーダンデコードの2次的最適性を確認する。
• テイラー展開および非漸近的逆定理に基づき、『SO』および『NEP』の2つの近似式を提案する。
• SOおよびNEP近似式を既知の境界および正規近似と比較して評価し、NEPの優れた精度を示す。

実験結果

リサーチクエスチョン

• RQ1 有限ブロック長において、ジャーダンデコードは2次的符号化性能まで最適であるか？
• RQ2 特定の方式に限らない、任意の符号化およびデコード方式に適用可能な非漸近的逆定理を導出できるか？
• RQ3 最適符号化レート $ R_n(\epsilon) $ は $ \delta_{t,n}(\epsilon) $ のテイラー型展開をもつのか？ そしてその主要項は何か？
• RQ4 SOおよびNEP近似式は、既存の境界および正規近似と比較して、$ R_n(\epsilon) $ の推定においてどの程度の性能を示すか？
• RQ5 誤り確率 $ \epsilon $ を有する有限ブロック長符号化において、最適入力分布は容量を達成する分布である必要があるか？

主な発見

• 新規な非漸近的逆定理により、ジャーダンデコードが2次的に最適な符号化性能を達成することが確認された。
• 最適符号化レート $ R_n(\epsilon) $ は $ \delta_{t,n}(\epsilon) $ のテイラー型展開をもち、最初の2項が $ \max_t[I(t;P) - \delta_{t,n}(\epsilon)] $ に一致し、条件 $ \delta_{t^*,n}(\epsilon) = \Omega(\sqrt{\ln n / n}) $ の下で3次項が $ O(\delta_{t^*,n}^2(\epsilon)) $ であることが示された。
• NEP近似式は、3つのテストされた手法（NEP、SO、正規近似）の中で $ R_n(\epsilon) $ の推定において最も正確であり、一貫して信頼性のある推定値を提供した。
• SO近似式は信頼性が高く、常に逆境界の下にあるため、達成可能なレートを過大評価しない。
• 正規近似は一貫性がなく、時として達成可能な境界を下回り、時として逆境界を超えることがあるため、有限ブロック長では信頼性に欠ける。
• 非漸近的領域において、$ I(t;P) - \delta_{t,n}(\epsilon) $ を最大化する最適入力分布 $ t^* $ は、一般に容量を達成する分布ではない。特に非対称チャネルでは顕著である。