[论文解读] Modeling Generalization in Machine Learning: A Methodological and Computational Study

Pietro Barbiero, Giovanni Squillero+1 more|arXiv (Cornell University)|Jun 28, 2020

Machine Learning and Data Classification参考文献 44被引用 28

一句话总结

本研究分析了109个公开的分类数据集，以建模机器学习的泛化能力，重点关注数据集特征如何影响模型性能。研究结果表明，训练数据的凸包是区分内插与外推的关键因素，揭示了维度与泛化能力之间的相关性出人意料地微弱，挑战了传统‘维度灾难’假设，并表明即使在高维空间中，高容量模型依然能实现良好泛化。

ABSTRACT

As machine learning becomes more and more available to the general public, theoretical questions are turning into pressing practical issues. Possibly, one of the most relevant concerns is the assessment of our confidence in trusting machine learning predictions. In many real-world cases, it is of utmost importance to estimate the capabilities of a machine learning algorithm to generalize, i.e., to provide accurate predictions on unseen data, depending on the characteristics of the target problem. In this work, we perform a meta-analysis of 109 publicly-available classification data sets, modeling machine learning generalization as a function of a variety of data set characteristics, ranging from number of samples to intrinsic dimensionality, from class-wise feature skewness to $F1$ evaluated on test samples falling outside the convex hull of the training set. Experimental results demonstrate the relevance of using the concept of the convex hull of the training data in assessing machine learning generalization, by emphasizing the difference between interpolated and extrapolated predictions. Besides several predictable correlations, we observe unexpectedly weak associations between the generalization ability of machine learning models and all metrics related to dimensionality, thus challenging the common assumption that the extit{curse of dimensionality} might impair generalization in machine learning.

研究动机与目标

• 探究哪些数据集特征与机器学习泛化性能相关。
• 评估训练数据的凸包是否可作为可靠代理，用于区分机器学习预测中的内插与外推。
• 挑战广泛持有的观点，即高维性本质上会损害机器学习中的泛化能力。
• 开发一个元模型，基于数据集特征预测泛化能力，特别关注内 hull 与外 hull 预测。

提出的方法

• 作者对来自 OpenML 等精选来源的109个公开可用的分类数据集进行了元分析。
• 计算了多种数据集特征，包括样本数量、特征数量、类别内特征偏度以及内在维度。
• 计算了训练集的凸包，以将测试点分类为位于凸包内部（内插）或外部（外推）。
• 在内 hull 和外 hull 测试点上，分别训练并评估了前沿分类器（如逻辑回归、SVM、随机森林）。
• 使用符号回归建模数据集特征与模型性能指标（如 F1 分数）之间的关联。
• 通过帕累托前沿比较，评估数据集属性在凸包内与凸包外对模型性能的相对影响。

实验结果

研究问题

• RQ1 数据集特征如何与机器学习模型的泛化性能相关？
• RQ2 训练数据的凸包在多大程度上可预测模型的泛化能力？
• RQ3 是否存在显著的维度与泛化性能之间的关系，如‘维度灾难’所暗示的那样？
• RQ4 不同机器学习模型（如 LR、SVC、RF）在基于数据集特征的泛化能力上是否存在差异？
• RQ5 数据集特征是否能可靠预测模型在内 hull 与外 hull 测试点上的泛化表现？

主要发现

• 训练数据的凸包是泛化的强预测因子，模型在内 hull（内插）预测上的表现显著优于外 hull（外推）预测。
• 研究发现，泛化性能与所有与维度相关的度量之间存在出人意料的微弱相关性，挑战了高维性本质上损害泛化的假设。
• 高容量模型（如随机森林）在内 hull 和外 hull 区域均表现出更强的泛化能力，表明其对数据集特定特征的敏感性较低。
• 基于数据集特征预测内 hull 泛化性能（F1_in）是可行且建模效果良好，而预测外 hull 泛化性能（F1_out）则要困难得多。
• 内在维度比与类别内特征相关性显示出弱正相关（ρ = 0.45），表明特征冗余对泛化的影响有限。
• 结果表明，真实世界数据集可能是所有可能数据集中的非代表性子集，这或许可以解释为何机器学习模型的泛化能力优于理论模型的预测。