[论文解读] Combining Varied Learners for Binary Classification using Stacked Generalization

Sruthi Nair, Abhishek Gupta+2 more|arXiv (Cornell University)|Feb 17, 2022

Face and Expression Recognition被引用 5

一句话总结

本文提出堆叠泛化（stacking）以提升高维、类别型数据集（如多囊卵巢综合征，PCOS）上的二分类性能。通过将多种基学习器——逻辑回归、支持向量机（SVM）、多层感知机（MLP）、随机森林和K近邻（KNN）——组合为元学习器，该方法显著降低了泛化误差，并在多个指标上优于单一模型，包括F2-score（83.73%）和汉明损失（12.72%）。

ABSTRACT

The Machine Learning has various learning algorithms that are better in some or the other aspect when compared with each other but a common error that all algorithms will suffer from is training data with very high dimensional feature set. This usually ends up algorithms into generalization error that deplete the performance. This can be solved using an Ensemble Learning method known as Stacking commonly termed as Stacked Generalization. In this paper we perform binary classification using Stacked Generalization on high dimensional Polycystic Ovary Syndrome dataset and prove the point that model becomes generalized and metrics improve significantly. The various metrics are given in this paper that also point out a subtle transgression found with Receiver Operating Characteristic Curve that was proved to be incorrect.

研究动机与目标

• 解决在高维类别型特征集上训练的机器学习模型所面临的泛化误差问题。
• 评估堆叠泛化在多囊卵巢综合征（PCOS）数据集上提升二分类性能的有效性。
• 通过展示与F-measure及其他指标的差异，挑战ROC-AUC作为唯一性能指标的可靠性。
• 表明即使ROC-AUC显示表现不佳，集成堆叠方法仍可优于单一模型。
• 通过多种指标（Fβ、汉明损失、Jaccard指数）进行全面评估，以验证模型的稳健性。

提出的方法

• 通过训练五种基模型（逻辑回归、SVM、MLP、随机森林和K近邻）来应用堆叠泛化（stacking）。
• 将基模型的预测结果作为输入特征，输入至元学习器（逻辑回归）以生成最终的集成预测结果。
• 对类别型特征应用独热编码和标签编码，并通过特征选择降低维度。
• 在逻辑回归中使用Sigmoid（logit）函数：$\sigma(Z) = \frac{1}{1+e^{-Z}}$，其中 $Z = \gamma_0 + \sum \gamma_i x_i$。
• 将SVM的决策边界表述为 $w^T x + b = 0$，并通过最大化间隔来分离类别。
• 使用多种指标评估模型性能：Fβ-score（$\beta = 0.5, 1, 2$）、汉明损失和Jaccard指数。

实验结果

研究问题

• RQ1 堆叠泛化是否能有效降低高维、类别型二分类任务中的泛化误差？
• RQ2 在多种评估指标下，堆叠泛化的性能与单一模型相比如何？
• RQ3 在此情境下，ROC-AUC在多大程度上是具有误导性的指标？有何证据支持此观点？
• RQ4 与独立模型相比，集成方法是否在F2-score、汉明损失和Jaccard指数方面表现更优？
• RQ5 若其他指标表明泛化能力更优，堆叠方法是否仍可超越ROC-AUC更高的模型？

主要发现

• 堆叠泛化实现了最高的F2-score（83.73%），显著优于SVM和随机森林（均为82.22%）以及MLP（75.28%）。
• 堆叠泛化的汉明损失为12.72%，在所有模型中最低，表明其标签预测精度更优。
• 堆叠泛化的Jaccard指数为77.41%，在所有模型中最高，证实其真实标签与预测标签之间的重叠程度更好。
• 尽管SVM和随机森林的ROC-AUC得分更高，但其F2-score低于堆叠泛化，表明ROC-AUC可能具有误导性。
• 堆叠模型在所有指标上均表现出更优的泛化能力，证明集成堆叠可有效缓解高维数据中的过拟合问题。
• 本研究发现，仅依赖AUC-ROC可能导致对模型性能的错误判断，强调了多指标评估的必要性。