[论文解读] Combining datasets to increase the number of samples and improve model fitting

Thu Nguyen, Rabindra Khadka+4 more|arXiv (Cornell University)|Oct 11, 2022

Machine Learning and Data Classification被引用 5

一句话总结

本文提出 ComImp，一种新颖的框架，通过在纵向堆叠过程中使用插补法填补缺失特征，实现具有重叠特征但非相同列的多组数据集的组合，显著提升模型拟合效果——尤其在小样本数据集上表现突出。其变体 PCA-ComImp 在插补前先进行降维处理，以减少高维数据中的噪声，实验表明该方法与迁移学习结合后可进一步提升性能。

ABSTRACT

For many use cases, combining information from different datasets can be of interest to improve a machine learning model's performance, especially when the number of samples from at least one of the datasets is small. However, a potential challenge in such cases is that the features from these datasets are not identical, even though there are some commonly shared features among the datasets. To tackle this challenge, we propose a novel framework called Combine datasets based on Imputation (ComImp). In addition, we propose a variant of ComImp that uses Principle Component Analysis (PCA), PCA-ComImp in order to reduce dimension before combining datasets. This is useful when the datasets have a large number of features that are not shared between them. Furthermore, our framework can also be utilized for data preprocessing by imputing missing data, i.e., filling in the missing entries while combining different datasets. To illustrate the power of the proposed methods and their potential usages, we conduct experiments for various tasks: regression, classification, and for different data types: tabular data, time series data, when the datasets to be combined have missing data. We also investigate how the devised methods can be used with transfer learning to provide even further model training improvement. Our results indicate that the proposed methods are somewhat similar to transfer learning in that the merge can significantly improve the accuracy of a prediction model on smaller datasets. In addition, the methods can boost performance by a significant margin when combining small datasets together and can provide extra improvement when being used with transfer learning.

研究动机与目标

• 解决具有非相同特征但存在重叠变量的数据集组合挑战，以提升模型性能。
• 克服传统数据融合方法对相同列结构的依赖限制。
• 改善小样本场景下的模型拟合效果，尤其在医学和科学应用中。
• 开发一种预处理流程，在数据集组合过程中通过插补处理缺失数据。
• 探索 ComImp 与迁移学习之间的协同效应，以进一步提升分类与回归性能。

提出的方法

• ComImp 基于共享特征对数据集进行纵向堆叠，并将非重叠特征列作为占位符插入缺失列。
• 对堆叠后的数据集应用插补法，利用选定的插补算法填补缺失值。
• PCA-ComImp 在插补前应用主成分分析（PCA）进行降维，以最小化非重叠特征带来的噪声。
• 该框架支持表格数据与时间序列数据，并兼容多种机器学习模型。
• 插补不仅用于数据融合，也可作为独立的预处理技术，用于处理不完整数据集。
• 该方法通过在组合数据上进行训练，与迁移学习集成，以提升模型泛化能力与准确性。

实验结果

研究问题

• RQ1 在样本量较小的情况下，组合具有非相同特征的数据集是否能提升模型性能？
• RQ2 插补质量如何影响在组合数据集上训练的模型性能？
• RQ3 通过 PCA 进行降维是否能提升组合数据集方法的鲁棒性与准确性？
• RQ4 在有限数据上微调模型时，ComImp 是否能增强迁移学习性能？
• RQ5 在重叠特征相对于非重叠特征过少时，ComImp 会在何种条件下失效？

主要发现

• ComImp 显著提升了小样本数据集上的模型准确率，例如在 Gene 数据集上，逻辑回归的测试准确率最高达到 0.998。
• 当与迁移学习结合时，ComImp 可使测试准确率提升最高达 0.022（例如在 EEG 数据集上，SVM 的准确率从 0.839 提升至 0.849）。
• PCA-ComImp 有效降低了高维数据中的噪声，相比标准 ComImp，提升了模型的稳定性和性能。
• 当重叠特征极少时（如 Seed 数据集中仅一个重叠特征），ComImp 可能因插补偏差过大而导致性能下降。
• 插补方法的选择对模型结果具有决定性影响，不同方法的准确率表现差异显著。
• ComImp 作为缺失数据的高效预处理工具，可实现异构数据源的完整数据集构建。