[论文解读] A tutorial introduction to the minimum description length principle

Peter Grünwald|ArXiv.org|Jun 4, 2004

Computability, Logic, AI Algorithms参考文献 68被引用 254

一句话总结

本教程将最小描述长度（MDL）原理介绍为一种有原则的模型选择方法，将学习问题形式化为数据压缩。它利用信息论编码形式化了模型拟合度与复杂度之间的权衡，提供了一种统一的、非贝叶斯的方法，能够自动避免过拟合，并在不假设存在真实底层模型的前提下，实现符合奥卡姆剃刀原则的预测性推断。

ABSTRACT

This tutorial provides an overview of and introduction to Rissanen's Minimum Description Length (MDL) Principle. The first chapter provides a conceptual, entirely non-technical introduction to the subject. It serves as a basis for the technical introduction given in the second chapter, in which all the ideas of the first chapter are made mathematically precise. The main ideas are discussed in great conceptual and technical detail. This tutorial is an extended version of the first two chapters of the collection "Advances in Minimum Description Length: Theory and Application" (edited by P.Grunwald, I.J. Myung and M. Pitt, to be published by the MIT Press, Spring 2005).

研究动机与目标

• 为MDL原理提供一个非技术性的概念基础，作为解决模型选择问题的方案。
• 使用信息理论形式化MDL，展示如何通过最小化描述长度实现最优模型选择。
• 阐明MDL的哲学立场，特别是其与奥卡姆剃刀的一致性，以及其对真实模型存在性的独立性。
• 将MDL与贝叶斯推断及其他归纳推断方法进行比较，突出其关键差异与优势。
• 提出改进的MDL作为解决粗略MDL局限性的方法，尤其在处理模型复杂度和小样本规模方面。

提出的方法

• 使用柯尔莫哥洛夫复杂度和前缀码，形式化数据中规律性可被压缩的概念。
• 引入两段码作为编码假设与数据的实用方法，以最小化总描述长度。
• 应用克劳夫特不等式，将码长与概率分布联系起来，从而实现概率解释。
• 发展归一化最大似然（NML）分布，作为改进MDL的最优通用模型。
• 提出改进MDL的四种解释：压缩解释、计数解释、贝叶斯解释以及预序（预测性）解释。
• 利用NML模型解决在无限模型类中进行模型选择时的“无穷大问题”。

实验结果

研究问题

• RQ1 如何利用信息理论将学习形式化为数据压缩？
• RQ2 在模型选择中，模型复杂度、数据拟合度与描述长度之间有何关系？
• RQ3 MDL如何在不依赖人为惩罚项或真实模型假设的前提下避免过拟合？
• RQ4 MDL在哲学上与贝叶斯推断有何不同？二者之间又存在何种关联？
• RQ5 当模型数量为无穷时，如何应用MDL进行模型选择？

主要发现

• MDL提供了一种有原则的、非贝叶斯的模型选择方法，能够自动平衡模型拟合度与复杂度，从而避免过拟合。
• NML分布被证明是一种最优通用模型，能最小化最坏情况下的后悔值，因此特别适合改进的MDL方法。
• 粗略而言，给定模型的数据描述长度等价于负对数似然，而假设码长则对模型复杂度施加惩罚。
• MDL可被解释为一种预序（预测性）编码形式，从而直接与在未见数据上的预测性能相联系。
• MDL无需假设存在真实模型，因此在真实场景中（即集合中无模型完全正确）具有更强的鲁棒性。
• 改进的MDL方法通过使用能自适应样本大小与模型复杂度的通用模型，解决了“无穷大问题”。