[论文解读] Information theory and learning: a physical approach

Ilya Nemenman|ArXiv.org|Sep 8, 2000

Computability, Logic, AI Algorithms参考文献 71被引用 14

一句话总结

本文引入了预测信息——即时间序列中过去与未来之间的互信息——作为动力系统与学习过程复杂性的通用度量。它表明，预测信息的幂律增长揭示了比以往研究中更复杂的系统，并开发了具有内在奥卡姆因子的贝叶斯非参数方法，用于正则化连续和离散概率分布的学习，从而仅通过数据即可实现模型类别的选择。

ABSTRACT

We try to establish a unified information theoretic approach to learning and to explore some of its applications. First, we define {\em predictive information} as the mutual information between the past and the future of a time series, discuss its behavior as a function of the length of the series, and explain how other quantities of interest studied previously in learning theory - as well as in dynamical systems and statistical mechanics - emerge from this universally definable concept. We then prove that predictive information provides the {\em unique measure for the complexity} of dynamics underlying the time series and show that there are classes of models characterized by {\em power-law growth of the predictive information} that are qualitatively more complex than any of the systems that have been investigated before. Further, we investigate numerically the learning of a nonparametric probability density, which is an example of a problem with power-law complexity, and show that the proper Bayesian formulation of this problem provides for the `Occam' factors that punish overly complex models and thus allow one {\em to learn not only a solution within a specific model class, but also the class itself} using the data only and with very few a priori assumptions. We study a possible {\em information theoretic method} that regularizes the learning of an undersampled discrete variable, and show that learning in such a setup goes through stages of very different complexities. Finally, we discuss how all of these ideas may be useful in various problems in physics, statistics, and, most importantly, biology.

研究动机与目标

• 建立预测信息作为学习和动力系统中统一且具有物理基础的复杂性度量。
• 研究预测信息的幂律增长如何揭示比以往研究模型更复杂质的系统。
• 开发一种贝叶斯非参数框架，用于学习连续概率密度函数，该框架自然地包含奥卡姆因子，以惩罚模型复杂性。
• 设计基于信息论的正则化方法，用于学习样本不足的离散变量，实现基于数据的模型复杂度选择。
• 证明数据本身可以确定最优平滑尺度和正则化参数，从而最大限度减少对先验假设的依赖。

提出的方法

• 将预测信息定义为时间序列中过去与未来片段之间的互信息，作为可预测性和复杂性的核心度量。
• 在贝叶斯非参数密度估计中使用场论先验，推导出依赖于平滑尺度 $ l $ 的有效哈密顿量，包含动能项和涨落项。
• 应用路径积分方法和复平面上的围线积分，计算非参数学习问题的相关函数和配分函数。
• 推导出包含涨落行列式（奥卡姆因子）的有效作用量，该因子可惩罚过于复杂的模型，从而通过平滑尺度的积分实现模型类别的选择。
• 利用数据自身的结构实现对正则化参数 $ heta $（或 $ heta^* $）的数据驱动选择，避免依赖外部假设。
• 采用具有狄利克雷先验的简化模型，对离散分布进行分析，推导出有效作用量的行为及最优正则化参数 $ heta^* $。

实验结果

研究问题

• RQ1 预测信息能否作为动力系统和学习过程中统一且具有物理基础的复杂性度量？
• RQ2 预测信息的幂律增长如何揭示出比传统统计力学或学习理论中研究的系统更复杂质的系统？
• RQ3 具有合适先验的贝叶斯非参数学习能否自动实现奥卡姆剃刀原则，而无需外部假设？
• RQ4 当数据样本不足时，如何使用基于信息论的正则化方法学习离散概率分布？
• RQ5 数据本身能否确定非参数学习中的最优平滑尺度或正则化参数，从而最大限度减少对先验知识的依赖？

主要发现

• 预测信息唯一地刻画了统计模型和动力系统的复杂性，幂律增长表明其复杂性质上高于指数或对数增长。
• 在非参数密度估计中，结合场论先验的贝叶斯公式导出的有效哈密顿量包含一个涨落行列式（即奥卡姆因子），可自然惩罚复杂模型。
• 最优平滑尺度 $ l^* $ 的尺度为 $ N^{1/3} $，与最小描述长度原则和奥卡姆剃刀一致。
• 即使使用“错误”的先验，只要数据足够信息丰富，贝叶斯框架仍能产生一致的学习结果，从而主导先验偏差。
• 在离散变量学习中，可利用数据选择最优正则化参数 $ heta^* $，数值结果表明 $ heta^* $ 能自适应于目标分布的集合。
• 该方法不仅能够学习特定模型，还能仅通过数据和最少的先验假设，学习到模型类别本身，尤其在样本不足的场景下表现突出。