[论文解读] A Short Introduction to Model Selection, Kolmogorov Complexity and Minimum Description Length (MDL)

Volker Nannen|arXiv (Cornell University)|May 13, 2010

Computability, Logic, AI Algorithms参考文献 11被引用 3

一句话总结

本文利用柯尔莫哥洛夫复杂度和最小描述长度（MDL）提出模型选择原则，展示了当模型复杂度相对于训练数据过高时，过拟合现象如何产生。它识别出‘真正过拟合点’——即泛化误差永久超过最简单模型误差的临界点——作为模型选择的稳健、可量化的边界，为传统方法提供了有原则的替代方案，这些传统方法在小样本中易受虚假极小值和过拟合影响。

ABSTRACT

The concept of overfitting in model selection is explained and demonstrated with an example. After providing some background information on information theory and Kolmogorov complexity, we provide a short explanation of Minimum Description Length and error minimization. We conclude with a discussion of the typical features of overfitting in model selection.

研究动机与目标

• 澄清过拟合悖论：尽管复杂度更高的模型在训练集上表现更好，但其泛化性能反而下降。
• 建立一个基于信息论原则的模型选择框架，平衡模型复杂度与泛化误差。
• 将‘真正过拟合点’——即泛化误差永久超过基准水平的临界点——识别为可靠且客观的模型拒绝准则。
• 证明常见方法如交叉验证易受抽样噪声影响，导致虚假极小值，需通过平滑处理以提高可靠性。
• 倡导基于MDL的方法，相比传统误差最小化技术，对过拟合和虚假极小值更具鲁棒性。

提出的方法

• 使用一个43次多项式拟合含噪声的洛伦兹吸引子的回归问题，以实证方式说明过拟合现象。
• 应用最小描述长度（MDL）原则，平衡模型复杂度（参数编码长度）与数据拟合度（残差编码长度）。
• 采用独立同分布的训练和测试样本，评估从0次到60次多项式度数的泛化误差。
• 将‘良好泛化区域’定义为性能优于原点（常数模型）与全局最优值之间中点的模型。
• 将‘虚假极小值’定义为由抽样噪声或数值伪影引起的局部最优解，其在不同样本下会消失。
• 引入一种平滑技术（例如，对三个相邻值取平均）以稳定交叉验证并减少虚假极小值的影响。

实验结果

研究问题

• RQ1 是什么导致了过拟合悖论——即更复杂的模型在未见数据上表现更差，尽管其在训练集上拟合更好？
• RQ2 我们如何定义一个可靠且客观的边界，以确定模型在该边界之后将不可逆地过拟合，而不会受局部极小值影响？
• RQ3 为何传统模型选择方法（如交叉验证）易受虚假极小值影响，以及如何对其进行稳定化处理？
• RQ4 MDL原则在避免不同模型族中的过拟合方面，相较于误差最小化方法有多大的优势？
• RQ5 多项式模型的泛化误差如何随度数增加而变化，其在何处跨越不可逆退化阈值？

主要发现

• 洛伦兹吸引子多项式模型的泛化误差从基准值σ² = 18（0次模型）下降至43次时的最小值σ² = 2.7，此后急剧上升。
• 在43次以上，泛化误差灾难性上升，局部极大值超过初始误差σ² = 18，标志着不可逆过拟合的开始。
• ‘真正过拟合点’——即误差永久超过原点误差的临界点——是一个清晰且稳定的边界，对平滑和抽样变化均具有鲁棒性。
• 虚假极小值（在不同训练样本下出现或消失）是交叉验证中的显著问题，若未经校正，可能误导模型选择。
• 对交叉验证结果进行平滑处理（如对三个相邻值取平均）能有效减少虚假极小值的影响，提升可靠性。
• 与标准误差最小化方法相比，基于MDL的方法在小样本环境下对虚假极小值和过拟合表现出更强的鲁棒性。