[논문 리뷰] Divergence, Entropy, Information: An Opinionated Introduction to Information Theory

Philip S. Chodrow|arXiv (Cornell University)|2017. 08. 24.

Computability, Logic, AI Algorithms참고 문헌 9인용 수 3

한 줄 요약

이 논문은 엔트로피와 상호정보량을 유도하는 데 핵심 개념으로 쿨백-라이블러 발산을 중심으로 한 직관적이고 개념 중심의 정보이론 소개를 제시한다. 정보이론적 양들이 학습, 예측, 불확실성에 대한 직관적 아이디어를 정밀하게 정의함을 강조하며, 데이터 처리 불등식과 같은 핵심 결과는 정보가 처리 과정을 거치면서 어떻게 열악해지는지를 보여준다.

ABSTRACT

Information theory is a mathematical theory of learning with deep connections with topics as diverse as artificial intelligence, statistical physics, and biological evolution. Many primers on information theory paint a broad picture with relatively little mathematical sophistication, while many others develop specific application areas in detail. In contrast, these informal notes aim to outline some elements of the information-theoretic "way of thinking," by cutting a rapid and interesting path through some of the theory's foundational concepts and results. They are aimed at practicing systems scientists who are interested in exploring potential connections between information theory and their own fields. The main mathematical prerequisite for the notes is comfort with elementary probability, including sample spaces, conditioning, and expectations. We take the Kullback-Leibler divergence as our most basic concept, and then proceed to develop the entropy and mutual information. We discuss some of the main results, including the Chernoff bounds as a characterization of the divergence; Gibbs' Theorem; and the Data Processing Inequality. A recurring theme is that the definitions of information theory support natural theorems that sound ``obvious'' when translated into English. More pithily, ``information theory makes common sense precise.'' Since the focus of the notes is not primarily on technical details, proofs are provided only where the relevant techniques are illustrative of broader themes. Otherwise, proofs and intriguing tangents are referenced in liberally-sprinkled footnotes. The notes close with a highly nonexhaustive list of references to resources and other perspectives on the field.

연구 동기 및 목표

• 연속적인 설정에서 미분 엔트로피의 문제를 피하기 위해 정보이론을 엔트로피가 아니라 쿨백-라이블러 발산으로 재구성함으로써 기반 개념을 재정립하고자 한다.
• 정보이론적 개념이 표현에 종속되지 않은 기본적인 불확실성과 학습 잠재력의 척도를 제공함을 보여주고자 한다.
• 데이터 처리 불등식과 같은 핵심 결과가 정보가 처리 과정을 거치면서 줄어든다는 직관적 아이디어를 수학적으로 엄밀하게 형식화함을 보여주고자 한다.
• 정보이론이 통계학, 물리학, 생물학 등 넓은 분야와 연결될 수 있음을 보여주며, 학습 가능성과 예측 가능성의 정량화 역할을 부각하고자 한다.
• 기술적 유도보다 개념적 명료성을 강조하여 시스템 과학자들이 자신의 분야에 정보이론적 사고를 적용할 수 있도록 안내하고자 한다.

제안 방법

• 확률 분포 간의 차이를 측정하는 기본 척도로 쿨백-라이블러 발산을 주요 연구 대상으로 삼으며, 이를 확률 분포 간의 차이에 대한 기본 척도로 간주한다.
• 엔트로피와 상호정보량을 발산에서 유도함으로써, 이를 공리적 기초로 삼는 것보다 자연스럽게 도출됨을 보여준다.
• 창너오프 경계를 특성화하기 위해 발산을 적용하여, 대규모 편차와 측도 집중과의 연결 고리를 맺는다.
• 지브스 부등식을 활용하여 발산의 음이 아닌 성질을 증명하고, 데이터 처리 불등식을 증명한다.
• 조건부 엔트로피와 상호정보량의 체인 규칙을 사용하여, 데이터 처리 과정에서 정보가 증가할 수 없음을 증명한다.
• 발산의 좌표 불변성(비틀림에 의한 변화가 없는 성질)을 활용하여, 이는 이산 및 연속 확률 공간 모두에서 기본적인 역할을 할 수 있음을 정당화한다.

실험 결과

연구 질문

• RQ1 왜 정보이론에서 엔트로피보다 쿨백-라이블러 발산이 더 적합한 기본 개념인가?
• RQ2 발산의 표현 불변성은 연속 분포에서의 미분 엔트로피의 개념적 문제를 어떻게 해결하는가?
• RQ3 데이터 처리 불등식은 정보가 처리 과정을 거치면서 줄어든다는 직관적 아이디어를 어떻게 수학적으로 형식화하는가?
• RQ4 상호정보량과 엔트로피와 같은 정보이론적 개념은 복잡한 시스템에서 학습과 예측 가능성을 어떻게 정량화하는가?
• RQ5 정보이론, 통계적 추론, 열역학 제2법칙 사이의 깊은 연결 고리는 무엇인가?

주요 결과

• 쿨백-라이블러 발산은 이산 및 연속 분포 모두에서 잘 정의되고 음이 아닌 성질을 가지며, 이는 미분 엔트로피와는 달리 음수가 될 수 있고 매끄러운 재매개변수화에 대해 불변성이 없기 때문이다.
• 데이터 처리 불등식은 한 변수가 마르코프 체인을 통해 처리될 경우 상호정보량이 증가하지 않음을 증명함으로써, 정보가 시간이 지남에 따라 줄어든다는 아이디어를 수학적으로 정립한다.
• Z = g(Y)일 때 $ I(X,Z) \leq I(X,Y) $의 부등식이 성립하며, 이는 처리 과정에서 정보가 감소함을 보여주며, 변환이 정보 복원에 충분한 경우에만 등호가 성립한다.
• 발산 기반 접근법은 이산 및 연속 시스템을 통합적으로 다룰 수 있도록 하여, 더 견고하고 일반적인 정보 이론 체계를 지원한다.
• 엔트로피 및 상호정보량과 같은 정보이론적 양은 불확실성과 종속성에 대한 기본적이고 표현에 종속되지 않는 척도를 제공한다.
• 논문은 데이터 처리 불등식과 열역학 제2법칙 사이에 개념적 유사성을 설정하며, 둘 다 시간이 지남에 따라 질서나 정보의 손실 경향을 묘사한다.