[论文解读] Applying MDL to Learning Best Model Granularity

Qiong Gao, Ming Li+1 more|ArXiv.org|May 23, 2000

Computability, Logic, AI Algorithms参考文献 14被引用 5

一句话总结

本文将基于柯尔莫哥洛夫复杂度的最小描述长度（MDL）原则应用于两个不同的学习任务：手写字符识别与机械臂建模，以确定最优模型粒度。通过选择能通过两段码（模型 + 数据误差）最压缩数据的模型，MDL识别出最佳参数粒度（如采样间隔或隐藏层大小），在两个实验中，理论预测的最优值均与实际表现最佳的设置一致。

ABSTRACT

The Minimum Description Length (MDL) principle is solidly based on a provably ideal method of inference using Kolmogorov complexity. We test how the theory behaves in practice on a general problem in model selection: that of learning the best model granularity. The performance of a model depends critically on the granularity, for example the choice of precision of the parameters. Too high precision generally involves modeling of accidental noise and too low precision may lead to confusion of models that should be distinguished. This precision is often determined ad hoc. In MDL the best model is the one that most compresses a two-part code of the data set: this embodies ``Occam's Razor.'' In two quite different experimental settings the theoretical value determined using MDL coincides with the best value found experimentally. In the first experiment the task is to recognize isolated handwritten characters in one subject's handwriting, irrespective of size and orientation. Based on a new modification of elastic matching, using multiple prototypes per character, the optimal prediction rate is predicted for the learned parameter (length of sampling interval) considered most likely by MDL, which is shown to coincide with the best value found experimentally. In the second experiment the task is to model a robot arm with two degrees of freedom using a three layer feed-forward neural network where we need to determine the number of nodes in the hidden layer giving best modeling performance. The optimal model (the one that extrapolizes best on unseen examples) is predicted for the number of nodes in the hidden layer considered most likely by MDL, which again is found to coincide with the best value found experimentally.

研究动机与目标

• 通过在真实世界问题中测试其适用性，弥合基于MDL的理论模型选择与实际机器学习之间的差距。
• 在无需经验性调参的情况下，确定最优模型粒度（如参数精度或网络结构）。
• 验证MDL对最小描述长度的理论预测是否与真实实验中最佳泛化性能相对应。
• 证明MDL可用于指导涉及离散化或结构选择的监督学习任务中的模型设计。

提出的方法

• 使用MDL原则选择能最小化模型与数据误差总描述长度的模型。
• 以柯尔莫哥洛夫复杂度作为理论基础，将最小描述长度解释为模型简洁性与泛化能力的代理指标。
• 采用两段编码方案：一段描述模型参数，另一段描述模型与数据之间的残差误差。
• 使用算法概率（通用分布m）基于柯尔莫哥洛夫复杂度分配先验概率，偏好简洁模型。
• 在实验中，改变模型粒度（如采样间隔、隐藏节点数量），并选择使总描述长度最小的参数值。
• 通过将MDL优化的参数与两个不同学习任务中经实验确定的最优值进行比较，验证预测结果。

实验结果

研究问题

• RQ1 MDL原则能否在真实世界学习任务中可靠预测最优模型粒度？
• RQ2 理论上最优的模型粒度（由最小描述长度定义）是否在实践中对应最佳泛化性能？
• RQ3 MDL在手写字符识别中选择最优采样间隔方面的表现如何？
• RQ4 MDL能否用于确定机械臂建模中神经网络最优的隐藏节点数量？

主要发现

• 在手写字符识别任务中，MDL预测的采样间隔（粒度）与实际最优值一致，实现了最佳预测准确率。
• 在使用三层神经网络进行机械臂建模时，MDL预测的隐藏节点数量与实际最优配置一致，实现了对未见数据的最佳外推性能。
• 理论MDL模型选择方法始终优于经验性参数选择，显示出在不同领域中的稳健性。
• 结果验证了MDL基于压缩的方法与实际性能的一致性，支持其作为模型粒度选择的严谨方法。
• 本研究表明，MDL可直接应用于真实学习系统，无需复杂调整，即使在非平凡任务中亦有效。