[论文解读] A Brief Introduction to Shannon's Information Theory

Ricky X. F. Chen|arXiv (Cornell University)|Dec 20, 2016

Computability, Logic, AI Algorithms参考文献 4被引用 4

一句话总结

本文通過提出一種更廣義的信道容量定義，允許使用多種輸入概率分佈，從而理論上實現更多可區分的信號。儘管框架擴展，作者嚴謹證明所得容量仍與香農經典極限相同，確認即使對有限字母表使用異質輸入分佈，基本極限亦無法突破。

ABSTRACT

This article serves as a brief introduction to the Shannon information theory. Concepts of information, Shannon entropy and channel capacity are mainly covered. All these concepts are developed in a totally combinatorial flavor. Some issues usually not addressed in the literature are discussed here as well. In particular, we show that it seems we can define channel capacity differently which allows us to potentially transmit more messages in a fixed sufficient long time duration. However, for a channel carrying a finite number of letters, the channel capacity unfortunately remains the same as the Shannon limit.

研究动机与目标

• 探討在信道傳輸中允許使用多種輸入概率分佈而非固定單一分佈時，香農容量極限是否可被超越。
• 形式化一個新信道容量定義，以涵蓋所有允許的輸入分佈集合。
• 分析此擴展框架是否能傳輸比香農極限允許更多的可區分序列。
• 證明儘管理論上可使用多樣的輸入分佈，信道容量仍保持不變。

提出的方法

• 提出一種新的信道容量定義，記為 $\widetilde{C}$，基於在所有允許的輸入分佈集合上最大化可區分序列的數量。
• 定義允許集合為輸入字母表上互相相容的概率分佈集合，其中不同分佈產生不同的輸出統計特性。
• 使用漸近表達式 $\widetilde{C} = \lim_{T\to\infty} \frac{1}{T} \log \left( \max_{F} \sum_{X\in F} 2^{T(H(X)-H(X|Y)+o(1))} \right)$ 來計算新容量。
• 運用組合計數方法，將不同分佈的數量限制為 $T^{n-1}$（對大小為 $n$ 的字母表）。
• 分別使用 $2^{T[C+o(1)]}$ 和 $T^{n-1}2^{T[C+o(1)]}$ 建立可區分序列數量的上下界。
• 通過證明上界對數增長率收斂至經典容量 $C$，從而證明 $\widetilde{C} = C$。

实验结果

研究问题

• RQ1 若允許使用多種輸入概率分佈而非固定單一分佈，信道容量是否可提高？
• RQ2 使用來自不同分佈的符號頻率變化的序列作為信號，是否具有理論優勢？
• RQ3 當允許使用多種輸入分佈時，可區分序列的數量是否會比香農極限允許的增長更快？
• RQ4 當考慮所有相容的輸入分佈時，可傳輸的可區分序列最大數量是多少？

主要发现

• 所提出的廣義容量 $\widetilde{C}$（涵蓋所有允許的輸入分佈集合）在數學上定義明確，且嚴格大於單一分佈下允許的序列數量。
• 儘管可從多種分佈使用更多序列，可區分序列的漸近增長率仍受經典香農容量 $C$ 的限制。
• 不同輸入分佈的數量受限於大小為 $n$ 的有限字母表時約為 $T^{n-1}$，其隨 $T$ 的增長為次指數級。
• 可區分序列數量的上界為 $T^{n-1}2^{T[C+o(1)]}$，其對數歸一化在極限下得出 $\widetilde{C} = C$。
• 證明顯示，乘法因子 $T^{n-1}$ 不影響容量速率，因為 $\lim_{T\to\infty} \frac{\log T}{T} = 0$。
• 即使在允許輸入序列最寬鬆的定義下，對有限字母表而言，經典香農極限仍不可突破。