[论文解读] Information, learning and falsification

David Balduzzi|arXiv (Cornell University)|Oct 17, 2011

Computability, Logic, AI Algorithms参考文献 6被引用 3

一句话总结

本文引入了有效信息——一种可计算的、非通用的柯尔莫哥洛夫复杂性的类比，以量化系统输出类别锐度的信息。通过将算法信息、香农信息与统计学习能力（如VC-熵和Rademacher复杂度）联系起来，表明有效信息度量了信息增益与假设的证伪，提供了一个基于物理系统和因果推断的统一框架。

ABSTRACT

There are (at least) three approaches to quantifying information. The first, algorithmic information or Kolmogorov complexity, takes events as strings and, given a universal Turing machine, quantifies the information content of a string as the length of the shortest program producing it. The second, Shannon information, takes events as belonging to ensembles and quantifies the information resulting from observing the given event in terms of the number of alternate events that have been ruled out. The third, statistical learning theory, has introduced measures of capacity that control (in part) the expected risk of classifiers. These capacities quantify the expectations regarding future data that learning algorithms embed into classifiers. This note describes a new method of quantifying information, effective information, that links algorithmic information to Shannon information, and also links both to capacities arising in statistical learning theory. After introducing the measure, we show that it provides a non-universal analog of Kolmogorov complexity. We then apply it to derive basic capacities in statistical learning theory: empirical VC-entropy and empirical Rademacher complexity. A nice byproduct of our approach is an interpretation of the explanatory power of a learning algorithm in terms of the number of hypotheses it falsifies, counted in two different ways for the two capacities. We also discuss how effective information relates to information gain, Shannon and mutual information.

研究动机与目标

• 弥合算法信息（柯尔莫哥洛夫复杂性）、香农信息与统计学习理论容量之间的概念与定量鸿沟。
• 开发一种可计算的信息度量，避免柯尔莫哥洛夫复杂性的不可计算性，同时保留其作为最小描述长度的信息核心直觉。
• 将学习过程（如经验风险最小化）解释为通过假设证伪生成信息的物理系统。
• 通过表明经验VC-熵和Rademacher复杂度自然源自有效信息，统一信息论与学习理论中的关键概念。
• 以学习算法输出所排除的假设数量为依据，为信息增益与证伪提供因果性、物理性的解释。

提出的方法

• 将有效信息定义为实际谱系（给定输出时输入的后验分布）与输入均匀先验之间的Kullback-Leibler散度：$ ei(\mathfrak{m},y) = D[\hat{p}_{\mathfrak{m}}(X|y) \| p_{\text{unif}}(X)] $。
• 对于确定性系统 $ f: \mathcal{X} \to \mathcal{Y} $，有效信息简化为 $ ei(f,y) = \log_2|\mathcal{X}| - \log_2|f^{-1}(y)| $，量化预像的反向大小。
• 通过用物理系统 $ f $ 替代通用图灵机，建立柯尔莫哥洛夫复杂性的非通用类比，使有效信息变为 $ ei(f,y) = -\log_2 p_f(y) $，其中 $ p_f(y) $ 为输出 $ y $ 的有效概率。
• 将该框架应用于学习理论中的经验风险最小化，将学习算法 $ \mathfrak{L}_{\mathcal{F},\mathcal{D}} $ 建模为将标记映射到经验风险的物理系统。
• 表明经验VC-熵等于 $ l - \text{有效信息} $，其中 $ l $ 为数据点数量，从而将其与被证伪的假设数量联系起来。
• 推导出互信息为输出分布上有效信息的期望值，从而统一香农信息与有效信息。

实验结果

研究问题

• RQ1 如何构建一种可计算的信息度量，使其保留算法信息的核心直觉，同时避免其不可计算性？
• RQ2 有效信息在何种方式下统一了算法信息、香农信息与统计学习能力（如VC-熵和Rademacher复杂度）？
• RQ3 在经验风险最小化过程中产生的有效信息如何与学习过程所证伪的假设数量相关？
• RQ4 有效信息能否作为信息增益的物理性、因果性度量，从而解释分类器的泛化性能？
• RQ5 有效信息与波普尔科学理论评价中的证伪概念之间存在何种关系？

主要发现

• 有效信息提供了柯尔莫哥洛夫复杂性的非通用类比，其可计算形式为 $ ei(f,y) = -\log_2 p_f(y) $，其中 $ p_f(y) $ 为在确定性系统 $ f $ 下输出 $ y $ 的有效概率。
• 对于确定性函数 $ f $，有效信息为 $ ei(f,y) = \log_2|\mathcal{X}| - \log_2|f^{-1}(y)| $，表明预像越小（越锐利），信息量越高。
• 经验VC-熵等于 $ l - \text{有效信息} $，其中 $ l $ 为数据点数量，意味着有效信息量化了被证伪的假设数量。
• 经验Rademacher复杂度也可用有效信息表达，为该容量提供了基于假设证伪的信息增益新解释。
• 香农熵与互信息分别作为有效信息在均匀分布与信道诱导分布上的期望值自然出现。
• 该框架将信息增益解释为学习算法所排除的假设数量，与波普尔的证伪主义科学理论评价标准一致。