[논문 리뷰] A Brief Introduction to Shannon's Information Theory

Ricky X. F. Chen|arXiv (Cornell University)|2016. 12. 20.

Computability, Logic, AI Algorithms참고 문헌 4인용 수 4

한 줄 요약

이 논문은 채널 용량의 더 넓은 정의를 제안함으로써 샤논의 정보이론을 재검토한다. 이 정의는 다수의 입력 확률 분포를 허용하여 더 구분 가능한 신호를 가능하게 한다. 이 확장된 프레임워크에도 불구하고, 저자들은 결과적으로 용량이 샤논의 고전적 한계와 동일하다는 것을 엄밀히 증명하며, 유한 알파벳에서 조건부로는 기본 한계를 초월할 수 없음을 확인한다.

ABSTRACT

This article serves as a brief introduction to the Shannon information theory. Concepts of information, Shannon entropy and channel capacity are mainly covered. All these concepts are developed in a totally combinatorial flavor. Some issues usually not addressed in the literature are discussed here as well. In particular, we show that it seems we can define channel capacity differently which allows us to potentially transmit more messages in a fixed sufficient long time duration. However, for a channel carrying a finite number of letters, the channel capacity unfortunately remains the same as the Shannon limit.

연구 동기 및 목표

• 채널 신호전달에서 단일 분포가 아닌 다수의 입력 확률 분포를 허용할 경우 샤논 용량 한계를 초월할 수 있는지 탐구하기.
• 모든 허용 가능한 입력 분포 집합을 고려한 새로운 채널 용량 정의를 체계화하기.
• 이 확장된 프레임워크가 샤논 한계가 허용하는 것보다 더 많은 구분 가능한 시퀀스 전송을 가능하게 하는지 분석하기.
• 다양한 입력 분포를 이론적으로 사용할 수 있음에도 불구하고 채널 용량이 그대로 유지됨을 증명하기.

제안 방법

• 모든 허용 가능한 입력 분포 집합에 걸쳐 구분 가능한 시퀀스 수를 최대화하는 방식으로, $\widetilde{C}$로 표기되는 새로운 채널 용량 정의를 제안한다.
• 허용 가능한 집합을 입력 알파벳 위의 상호 호환 가능한 확률 분포 집합으로 정의하며, 서로 다른 분포는 서로 다른 출력 통계를 유도한다.
• asymptotic 표현 $\widetilde{C} = \lim_{T\to\infty} \frac{1}{T} \log \left( \max_{F} \sum_{X\in F} 2^{T(H(X)-H(X|Y)+o(1))} \right)$ 을 사용하여 새로운 용량을 계산한다.
• 조합론적 수세기 방법을 적용하여 분포의 수를 알파벳 크기 $n$ 에 대해 $T^{n-1}$ 으로 근사한다.
• 구분 가능한 시퀀스 수의 상한과 하한을 각각 $2^{T[C+o(1)]}$ 과 $T^{n-1}2^{T[C+o(1)]}$ 으로 설정한다.
• 상한의 로그 성장률이 고전적 용량 $C$ 로 수렴함을 보여 $\widetilde{C} = C$ 를 증명한다.

실험 결과

연구 질문

• RQ1 단일 분포를 고정하는 대신 다수의 입력 확률 분포를 허용할 경우 채널 용량을 증가시킬 수 있는가?
• RQ2 다른 분포에서 유도된 다양한 기호 빈도를 가진 시퀀스를 신호로 사용할 때 이론적 이점이 있는가?
• RQ3 다수의 입력 분포를 허용할 경우, 구분 가능한 시퀀스 수가 샤논 한계가 허용하는 것보다 더 빠르게 증가하는가?
• RQ4 모든 상호 호환 가능한 입력 분포를 고려할 때 전송 가능한 최대 구분 가능한 시퀀스 수는 얼마인가?

주요 결과

• 모든 허용 가능한 입력 분포 집합을 고려한 제안된 일반화된 용량 $\widetilde{C}$ 는 수학적으로 잘 정의되어 있으며, 단일 분포에서 允허용되는 시퀀스 수보다 엄밀히 크다.
• 다수의 분포에서 더 많은 시퀀스를 사용할 수 있음에도 불구하고, 구분 가능한 시퀀스의 점근적 성장률은 여전히 고전적 샤논 용량 $C$ 로 제한된다.
• 유한 알파벳 크기 $n$ 에 대해 서로 다른 입력 분포의 수는 약 $T^{n-1}$ 으로 제한되며, 이는 $T$ 에 대해 지수함수보다 느리게 증가한다.
• 구분 가능한 시퀀스 수의 상한은 $T^{n-1}2^{T[C+o(1)]}$ 이며, 이에 대한 로그 정규화는 극한에서 $\widetilde{C} = C$ 를 유도한다.
• 증명은 곱셈 인자 $T^{n-1}$ 이 용량률에 영향을 주지 않음을 보여주며, $\lim_{T\to\infty} \frac{\log T}{T} = 0$ 이기 때문이다.
• 유한 알파벳에서 가장 관대한 허용 가능한 입력 시퀀스 정의를 적용하더라도 고전적 샤논 한계는 여전히 돌파 불가능하다.