[論文レビュー] A Brief Introduction to Shannon's Information Theory

Ricky X. F. Chen|arXiv (Cornell University)|Dec 20, 2016

Computability, Logic, AI Algorithms参考文献 4被引用数 4

ひとこと要約

本稿は、複数の入力確率分布を許容するより広範なチャネル容量の定義を提案することで、シャノンの情報理論を再検討している。理論的には、より区別可能な信号の送信が可能になるが、著者らは厳密に証明しており、その結果得られる容量はシャノンの古典的限界と同一であり、有限アルファベットにおいても根本的な限界を上回ることは不可能であることを確認している。

ABSTRACT

This article serves as a brief introduction to the Shannon information theory. Concepts of information, Shannon entropy and channel capacity are mainly covered. All these concepts are developed in a totally combinatorial flavor. Some issues usually not addressed in the literature are discussed here as well. In particular, we show that it seems we can define channel capacity differently which allows us to potentially transmit more messages in a fixed sufficient long time duration. However, for a channel carrying a finite number of letters, the channel capacity unfortunately remains the same as the Shannon limit.

研究の動機と目的

• チャネル信号伝送において、単一の分布に固定するのではなく、複数の入力確率分布を許容することで、シャノン容量限界を上回れるかを検討すること。
• すべての許容可能な入力分布の集合を考慮する新しいチャネル容量の定式化を目的とすること。
• この拡張されたフレームワークが、シャノンの限界が許すよりも多くの区別可能な系列の伝送を可能にするかを分析すること。
• 理論的に多様な入力分布を使用できる可能性があるにもかかわらず、チャネル容量が変化しないことを証明すること。

提案手法

• すべての許容可能な入力分布の集合に対して、区別可能な系列の数を最大化することに基づき、$\widetilde{C}$ と表記される新しいチャネル容量の定義を提案する。
• 許容可能な集合とは、入力アルファベット上での互いに適合可能な確率分布の集合であり、異なる分布が異なる出力統計を生じることを意味する。
• 漸近的表現 $\widetilde{C} = \lim_{T\to\infty} \frac{1}{T} \log \left( \max_{F} \sum_{X\in F} 2^{T(H(X)-H(X|Y)+o(1))} \right)$ を用いて、新しい容量を計算する。
• 組合せ的数え上げを用いて、異なる分布の数を $T^{n-1}$ で上界付ける（アルファベットサイズ $n$ に対して）。
• 区別可能な系列の数に対する上界と下界を、それぞれ $2^{T[C+o(1)]}$ と $T^{n-1}2^{T[C+o(1)]}$ として確立する。
• 上界の対数的成長率が古典的容量 $C$ に収束することを示すことにより、$\widetilde{C} = C$ を証明する。

実験結果

リサーチクエスチョン

• RQ1 単一の分布に固定するのではなく、複数の入力確率分布を許容することで、チャネル容量を向上させられるか？
• RQ2 異なる分布からの異なる記号頻度を持つ系列を信号として使用することに理論的利点はあるか？
• RQ3 複数の入力分布が許容される場合、区別可能な系列の数はシャノンの限界が許すよりも速やかに増加するか？
• RQ4 すべての適合可能な入力分布を考慮した場合、チャネルを介して送信可能な区別可能な系列の最大数は何か？

主な発見

• すべての許容可能な入力分布の集合を考慮する、一般化された容量 $\widetilde{C}$ は数学的に明確に定義されており、単一の分布に制限された場合の系列数よりも厳密に大きい。
• 複数の分布からより多くの系列を使用できる可能性があるにもかかわらず、区別可能な系列の漸近的成長率は、古典的シャノン容量 $C$ によって上限づけられている。
• 異なる入力分布の数は、有限アルファベットサイズ $n$ に対して、おおよそ $T^{n-1}$ に制限され、これは $T$ に対して指数的でない（指数的未満）に増加する。
• 区別可能な系列の数に対する上界は $T^{n-1}2^{T[C+o(1)]}$ であり、その対数正規化により、極限において $\widetilde{C} = C$ が得られる。
• 証明により、乗法的要因 $T^{n-1}$ は容量レートに影響しないことが示されており、$\lim_{T\to\infty} \frac{=\log T}{T} = 0$ であるため。
• 有限アルファベットにおいて、許容可能な入力系列の定義が最も包括的であっても、古典的シャノン限界は覆せない。