[論文レビュー] Non-asymptotic Equipartition Properties for Independent and Identically Distributed Sources

Enhui Yang, Jin Meng|arXiv (Cornell University)|Apr 16, 2012

Wireless Communication Security Techniques参考文献 3被引用数 4

ひとこと要約

この論文は、i.i.d. ソースの非漸近的等分割性の性質（NEP）を確立し、有限ブロック長における実現対数尤度 $-\frac{1}{n}\ln p(X_1^n)$ の分布を特徴づけることで、正確な非漸近的ソース符号化の境界を可能にした。主な結果は、誤り確率 $\Theta(n^{-\alpha}/\sqrt{\ln n})$ の場合、最小固定レート符号化レートが $H(X) + \sqrt{\sigma_H^2(X) \cdot 2\alpha} \sqrt{\ln n / n} + O(\ln n / n)$ に等しくなることである。ここで $\sigma_H^2(X)$ は情報分散を表す。

ABSTRACT

Given an independent and identically distributed source $X = \{X_i \}_{i=1}^{\infty}$ with finite Shannon entropy or differential entropy (as the case may be) $H(X)$, the non-asymptotic equipartition property (NEP) with respect to $H(X)$ is established, which characterizes, for any finite block length $n$, how close $-{1\over n} \ln p(X_1 X_2...X_n)$ is to $H(X)$ by determining the information spectrum of $X_1 X_2...X_n $, i.e., the distribution of $-{1\over n} \ln p(X_1 X_2...X_n)$. Non-asymptotic equipartition properties (with respect to conditional entropy, mutual information, and relative entropy) in a similar nature are also established. These non-asymptotic equipartition properties are instrumental to the development of non-asymptotic coding (including both source and channel coding) results in information theory in the same way as the asymptotic equipartition property to all asymptotic coding theorems established so far in information theory. As an example, the NEP with respect to $H(X)$ is used to establish a non-asymptotic fixed rate source coding theorem, which reveals, for any finite block length $n$, a complete picture about the tradeoff between the minimum rate of fixed rate coding of $X_1...X_n$ and error probability when the error probability is a constant, or goes to 0 with block length $n$ at a sub-polynomial, polynomial or sub-exponential speed. With the help of the NEP with respect to other information quantities, non-asymptotic channel coding theorems of similar nature will be established in a separate paper.

研究の動機と目的

• 非漸近的等分割性の性質（NEP）をi.i.d. ソースに開発し、漸近的等分割性の性質（AEP）の有限ブロック長版を提供すること。
• 有限 $n$ における $-\frac{1}{n}\ln p(X_1^n)$ の分布を特徴づけ、ソースおよびチャネル符号化の非漸近的解析を可能にすること。
• 誤り確率とコードレートのトレードオフを複数の誤り確率の減衰領域にわたって定量的に示す非漸近的固定レートソース符号化定理を確立すること。
• NEPを条件付きエントロピー、相互情報量、相対エントロピーへと拡張し、非漸近的情報理論における広範な応用性を高めること。

提案手法

• 有限エントロピー $H(X)$ を持つi.i.d. ソースにおける $-\frac{1}{n}\ln p(X_1^n)$ の情報スペクトルを、集中不等式および大偏差技法を用いて導出する。
• 中心極限定理およびエッジワース展開を用いて、$H(X)$ の周囲における $-\frac{1}{n}\ln p(X_1^n)$ の分布を近似し、情報分散 $\sigma_H^2(X)$ を組み込む。
• NEPを用いて、対数尤度がエントロピー率からどれほど逸脱するかを分析することで、固定レートソース符号化における誤り確率をバインドする。
• 誤り確率 $\epsilon_n(\delta)$ が所望の減衰速度と一致するように $\delta$ を解くことにより、最小コードレート $R_n(\epsilon_n)$ のタイトなバインドを確立する。
• レート-歪みトレードオフをモデル化する関数 $r_X(\delta)$ を導入し、与えられた誤り確率に対する最小レートのバインドを精緻化する。
• 複数の誤り確率減衰領域（定数、多項式 $n^{-\alpha}$、多項式より小さい $n^{-\alpha}/\sqrt{\ln n}$、非指数的 $e^{-n^\alpha}$）を分析し、それぞれに対して明示的な式を導出する。

実験結果

リサーチクエスチョン

• RQ1 情報スペクトル $-\frac{1}{n}\ln p(X_1^n)$ を用いて、漸近的等分割性の性質（AEP）を有限ブロック長にどのように拡張できるか？
• RQ2 i.i.i.d. ソースにおける固定レートソース符号化において、コードレートと誤り確率の正確な非漸近的トレードオフは何か？
• RQ3 誤り確率が $n^{-\alpha}/\sqrt{\ln n}$ の割合で減少する場合、$0 < \alpha < 1$ として、ブロック長 $n$ に伴い最小コードレートはどのようにスケーリングするか？
• RQ4 NEPフレームワークは、非漸近的チャネル符号化における条件付きエントロピーおよび相互情報量へと拡張可能か？
• RQ5 誤り確率が定数または 0.5 を超える場合、最小コードレートの挙動は何か？これは漸近的理論からの直感をどのように挑戦するか？

主な発見

• 誤り確率 $\Theta(n^{-\alpha}/\sqrt{\ln n})$ の場合、最小固定レート符号化レートは $H(X) + \sqrt{\sigma_H^2(X) \cdot 2\alpha} \sqrt{\ln n / n} + O(\ln n / n)$ に等しくなる。ここで $\sigma_H^2(X)$ はソースの情報分散を表す。
• 誤り確率が $n^{-\alpha}$（$\alpha \geq 1$）で減少する場合、最小レートは $H(X) + \sqrt{2\alpha \sigma_H^2(X)} \sqrt{\ln n / n} + O(\ln n / n)$ に等しくなる。これは $\alpha$ に強い依存性を示している。
• 非指数的誤り確率減少 $e^{-n^\alpha}$（$0 < \alpha < 1$）の場合、最小レートは $H(X) + \sqrt{2\alpha \sigma_H^2(X)} \sqrt{\ln n / n} + O(\ln n / n)$ に等しくなる。これは $\sqrt{\ln n / n}$ 項がレートペナルティを支配することを示している。
• 誤り確率が定数 $\epsilon > 0.5$ の場合、有限 $n$ において最小コードレート $R_n(\epsilon_n)$ は $H(X)$ よりも厳密に小さくなる可能性があり、これは漸近的理論からの直感に反する。
• NEPフレームワークにより、多項式および多項式より小さい減衰領域を含む、すべての減衰領域におけるレート-誤り確率トレードオフの完全な特徴づけが可能となり、逆Q関数および集中不等式を用いて明示的なバインドが導出された。
• 解析により、レート式における $O(\ln n / n)$ 項は避けられず、これは対数尤度分布のエッジワース展開における2次補正項に起因することが明らかになった。