[논문 리뷰] Information Theory: A Tutorial Introduction

James V. Stone|arXiv (Cornell University)|2018. 02. 16.

Cognitive Science and Education Research인용 수 6

한 줄 요약

이 튜토리얼은 직관적인 설명을 통해 샤논의 정보이론을 소개하며, 정보가 확률과 엔트로피에 뿌리를 두고 있는 가측량임을 강조한다. 비트가 불확실성을 어떻게 측정하는지 설명하고, 엔트로피와 상호정보량과 같은 핵심 개념을 유도하며, 노이즈가 존재하는 채널에서 신뢰할 수 있는 통신의 이론적 한계인 채널 용량을 정의한다. 로그와 확률적 프레임워크를 사용하여 통신 시스템과 자연 과정 간의 개념을 통합한다.

ABSTRACT

Shannon's mathematical theory of communication defines fundamental limits on how much information can be transmitted between the different components of any man-made or biological system. This paper is an informal but rigorous introduction to the main ideas implicit in Shannon's theory. An annotated reading list is provided for further reading.

연구 동기 및 목표

• 비전문가 및 연구자들을 대상으로 정보이론에 대한 명확하고 직관적이면서도 수학적으로 타당한 소개를 제공하는 것.
• 비트(정보의 단위)와 이진수 시스템의 이진 자릿수(기수 2 수체계의 자릿수) 사이의 개념적 차이를 명확히 하는 것.
• 엔트로피가 확률 분포에서 평균적인 놀라움을 나타내는 기본적인 역할을 하는 것을 확립하는 것.
• 노이즈가 있는 채널에서의 통신 이론적 한계, 특히 채널 용량을 도출하고 설명하는 것.
• 생물학적 및 물리적 과정과의 유사성과 적용을 통해 정보이론을 더 넓은 시스템과 연결하는 것.

제안 방법

• 등분할된 도로 갈림길에서의 길 찾기 메타포를 사용하여, 비트가 등확률 대안들 사이의 선택을 어떻게 측정하는지 설명한다.
• 샤논 정보(또는 놀라움)를 $ -\log_2 p(x) $로 정의하여, 결과의 확률에 기반한 정보량을 측정한다.
• 엔트로피 $ H(x) $ 를 놀라움의 기대값으로 정의한다: $ H(x) = \sum p(x) \cdot \log_2(1/p(x)) $, 이는 평균적인 불확실성을 나타낸다.
• 로그 관계식 $ \log_2 m = n $ 을 적용하여, $ n $ 비트가 $ m = 2^n $ 개의 등확률 결과를 구별하는 데 사용될 수 있음을 보여준다.
• 공통확률과 주변확률을 사용하여, 한 변수에 대한 지식이 다른 변수에 대한 불확실성을 얼마나 줄이는지에 따라 상호정보량 $ I(x;y) $ 를 도출하고 설명한다.
• 채널 용량 $ C $ 를 모든 입력 분포에 대해 상호정보량의 최대값으로 설정하며, 가우시안 채널의 경우 닫힌 형태의 해를 제공한다: $ C = \frac{1}{2} \log_2(1 + S/N) $.

실험 결과

연구 질문

• RQ1 통신 시스템에서 정보는 어떻게 정의되고 물리량처럼 정량화할 수 있는가?
• RQ2 시스템 내에서 불확실성(엔트로피)과 구별 가능한 결과의 수 사이의 관계는 무엇인가?
• RQ3 통신 채널의 노이즈는 정보를 신뢰성 있게 전송할 수 있는 최대 속도를 어떻게 제한하는가?
• RQ4 에코딩과 신호 대 잡음비가 채널 용량의 이론적 한계에 도달하기 위해 어떻게 기여하는가?
• RQ5 상호정보량은 통신 또는 생물학적 시스템에서 두 랜덤 변수 간의 종속성을 어떻게 측정하는가?

주요 결과

• 정보는 측정 가능한 양이며, 한 비트는 두 개의 동등한 확률을 가진 대안 중 하나를 선택하는 데 필요한 정보의 양을 나타낸다.
• 엔트로피 $ H(x) $ 는 랜덤 변수의 결과에 대한 평균적인 불확실성을 측정하며, 모든 결과가 동일하게 확률을 가지면 최댓값에 도달한다.
• 등확률 결과 중 $ m $ 개를 특정하기 위해 필요한 비트 수는 $ \log_2 m $ 이며, 이는 선택 집합의 크기에 따라 정보의 로그 스케일링을 보여준다.
• 채널 용량은 신뢰할 수 있는 데이터 전송 속도의 이론적 상한선이며, 상호정보량을 최대화하는 입력 분포에 의해 결정된다.
• 신호 대 잡음비 $ S/N $ 를 가진 가우시안 채널의 경우, 채널 용량은 $ C = \frac{1}{2} \log_2(1 + S/N) $ 비트/기호로 표현되며, 가우시안 입력과 잡음의 상호정보량에서 유도된다.
• 상호정보량 $ I(x;y) $ 는 $ y $ 를 알고 있을 때 $ x $ 에 대한 불확실성의 감소를 측정하며, 대칭적이다: $ I(x;y) = I(y;x) $, 이는 정보이론적 추론과 통신의 핵심을 형성한다.