[论文解读] Divergence, Entropy, Information: An Opinionated Introduction to Information Theory

Philip S. Chodrow|arXiv (Cornell University)|Aug 24, 2017

Computability, Logic, AI Algorithms参考文献 9被引用 3

一句话总结

本文以直觉为导向，采用概念优先的方式介绍信息论，以Kullback-Leibler散度作为基础概念，由此推导出熵和互信息。它强调信息论量度使关于学习、预测和不确定性的直觉想法变得精确，关键结果如数据处理不等式说明了信息在处理过程中如何退化。

ABSTRACT

Information theory is a mathematical theory of learning with deep connections with topics as diverse as artificial intelligence, statistical physics, and biological evolution. Many primers on information theory paint a broad picture with relatively little mathematical sophistication, while many others develop specific application areas in detail. In contrast, these informal notes aim to outline some elements of the information-theoretic "way of thinking," by cutting a rapid and interesting path through some of the theory's foundational concepts and results. They are aimed at practicing systems scientists who are interested in exploring potential connections between information theory and their own fields. The main mathematical prerequisite for the notes is comfort with elementary probability, including sample spaces, conditioning, and expectations. We take the Kullback-Leibler divergence as our most basic concept, and then proceed to develop the entropy and mutual information. We discuss some of the main results, including the Chernoff bounds as a characterization of the divergence; Gibbs' Theorem; and the Data Processing Inequality. A recurring theme is that the definitions of information theory support natural theorems that sound ``obvious'' when translated into English. More pithily, ``information theory makes common sense precise.'' Since the focus of the notes is not primarily on technical details, proofs are provided only where the relevant techniques are illustrative of broader themes. Otherwise, proofs and intriguing tangents are referenced in liberally-sprinkled footnotes. The notes close with a highly nonexhaustive list of references to resources and other perspectives on the field.

研究动机与目标

• 通过以Kullback-Leibler散度而非熵作为出发点来重构信息论，以避免在连续设定下微分熵带来的问题。
• 展示信息论概念如何提供一种与表示无关、根本性的不确定性与学习潜力度量。
• 表明诸如数据处理不等式等核心结果如何将直观想法（如信息在处理过程中减少）形式化为数学上的严谨结论。
• 通过强调其在量化可学习性和可预测性方面的作用，将信息论与统计学、物理学和生物学等更广泛领域联系起来。
• 通过强调概念清晰性而非技术推导，引导系统科学家在各自领域中应用信息论思维。

提出的方法

• 将Kullback-Leibler散度作为主要研究对象，将其视为概率分布之间差异的根本度量。
• 从散度推导出熵和互信息，展示其自然涌现，而非将其视为公理化的起点。
• 将散度应用于刻画Chernoff界，将其与大偏差和测度集中联系起来。
• 运用Gibbs不等式建立散度的非负性，并证明数据处理不等式。
• 利用条件熵和互信息的链式法则，证明信息在数据处理过程中不会增加。
• 利用散度的坐标不变性（与微分熵不同），为其在离散和连续概率空间中的基础性角色提供依据。

实验结果

研究问题

• RQ1 为何Kullback-Leibler散度在信息论中比熵更适合作为基础概念？
• RQ2 散度的表示不变性如何解决微分熵在连续分布中产生的概念问题？
• RQ3 数据处理不等式在哪些方面形式化了信息在处理过程中退化的直观想法？
• RQ4 信息论概念（如互信息和熵）如何用于量化复杂系统中的学习和可预测性？
• RQ5 信息论、统计推断与热力学第二定律之间存在哪些深层联系？

主要发现

• Kullback-Leibler散度在离散和连续分布下均有定义且非负，而微分熵可能为负，且在光滑重参数化下不具有不变性。
• 数据处理不等式证明了当一个变量通过马尔可夫链处理时，互信息不会增加，从而形式化了信息随时间减少的直观概念。
• 当 $ Z = g(Y) $ 时，不等式 $ I(X,Z) \leq I(X,Y) $ 成立，表明处理会减少信息，且仅当变换足以完全恢复信息时等号成立。
• 基于散度的方法允许对离散和连续系统进行统一处理，支持更稳健、更普适的信息理论。
• 熵和互信息等信息论量度提供了根本性的、与表示无关的不确定性与依赖性度量。
• 本文建立了数据处理不等式与热力学第二定律之间的概念类比，二者均描述了随时间推移秩序或信息自然损失的趋势。