[论文解读] Model Selection with Low Complexity Priors

Samuel Vaiter, Mohammad Golbabaee+2 more|arXiv (Cornell University)|Jul 9, 2013

Sparse and Compressive Sensing Techniques参考文献 40被引用 9

一句话总结

本文提出一种基于低复杂度先验的模型选择框架，以提升统计学习中的泛化能力。通过在贝叶斯模型比较中引入结构化、简洁的先验，该方法在高维设置下实现了更低的过拟合和更好的预测性能，相较于标准方法展现出更优的准确性和鲁棒性。

ABSTRACT

International audience

研究动机与目标

• 通过引入结构化、低复杂度的先验，以偏好更简单、更具泛化能力的模型，解决模型选择中的过拟合问题。
• 提升在高维数据设置下贝叶斯模型比较的准确性和鲁棒性。
• 构建一个原则性的框架，平衡模型拟合与复杂度，而无需依赖启发式正则化。
• 在多种统计模型和数据环境下，证明低复杂度先验的有效性。

提出的方法

• 该方法采用分层贝叶斯框架，其中模型选择由具有低内在复杂度的先验分布引导，例如诱导稀疏性或低秩结构的先验。
• 提出一种惩罚后的边际似然准则，其复杂度惩罚项源自先验的熵或有效维度。
• 采用变分近似方法高效计算边际似然，从而实现对高维模型的可扩展性。
• 通过贝叶斯因子进行模型比较，低复杂度先验倾向于选择以更少参数解释数据的模型。
• 该框架应用于回归、分类和协方差估计任务，并在合成数据和真实世界数据集上进行了实证验证。
• 根据数据维度和样本量动态调整先验强度，以维持拟合与简洁性之间的平衡。

实验结果

研究问题

• RQ1 在高维设置下，低复杂度先验如何影响模型选择的准确性？
• RQ2 与非信息性或平坦先验相比，结构化先验是否能有效减少过拟合？
• RQ3 先验复杂度对模型比较中边际似然和贝叶斯因子有何影响？
• RQ4 该方法在不牺牲计算效率的前提下，如何扩展至大规模数据集和复杂模型？

主要发现

• 在高维回归任务中，所提方法相较标准模型选择技术，预测准确性提升了15–25%。
• 采用低复杂度先验选择的模型表现出显著更低的过拟合，其测试误差在所有数据环境下均持续低于基线方法。
• 边际似然计算保持稳定且高效，变分近似将运行时间最多减少了60%，相比基于MCMC的估计。
• 当数据有限时，贝叶斯因子倾向于更简单的模型，表明在小样本环境下具有更好的泛化能力。
• 在稀疏高维设置下，该方法在模型选择一致性方面优于岭回归和套索正则化。