[论文解读] Evolving imputation strategies for missing data in classification problems with TPOT

Unai Garciarena, Roberto Santana+1 more|arXiv (Cornell University)|Jun 4, 2017

Data Mining Algorithms and Applications参考文献 15被引用 10

一句话总结

本文提出在TPOT框架中使用遗传编程，自动演化最优的机器学习流水线，其中包含用于处理分类任务中缺失数据的插补策略。该方法通过动态选择最佳的插补方法与分类器组合，显著提升了在多种含缺失值数据集上的分类准确率，优于传统的静态插补选择。

ABSTRACT

Missing data has a ubiquitous presence in real-life applications of machine learning techniques. Imputation methods are algorithms conceived for restoring missing values in the data, based on other entries in the database. The choice of the imputation method has an influence on the performance of the machine learning technique, e.g., it influences the accuracy of the classification algorithm applied to the data. Therefore, selecting and applying the right imputation method is important and usually requires a substantial amount of human intervention. In this paper we propose the use of genetic programming techniques to search for the right combination of imputation and classification algorithms. We build our work on the recently introduced Python-based TPOT library, and incorporate a heterogeneous set of imputation algorithms as part of the machine learning pipeline search. We show that genetic programming can automatically find increasingly better pipelines that include the most effective combinations of imputation methods, feature pre-processing, and classifiers for a variety of classification problems with missing data.

研究动机与目标

• 为解决在含缺失数据的分类任务中选择最优插补方法的挑战，该挑战传统上需要大量手动调优。
• 将TPOT自动化机器学习框架扩展，原生支持将插补作为流水线组件。
• 探究遗传编程是否能够发现更优的、与数据相关的插补与分类算法组合。
• 在具有不同缺失数据模式和水平的多个数据集上评估所演化流水线的性能。
• 分析演化流水线中有效插补方法与下游分类器之间的关系。

提出的方法

• 作者扩展了基于Python的自动化机器学习库TPOT，将一系列多样化的插补算法作为可配置的流水线组件引入。
• 使用遗传编程演化端到端的机器学习流水线，包含预处理、特征选择、插补和分类步骤。
• 通过受控机制在真实世界数据集中模拟缺失数据，生成MCAR、MAR和MNAR模式以供评估。
• 适应度函数基于分类准确率评估流水线性能，重点关注在保留测试集上的误差最小化。
• 进化搜索探索插补方法（如均值、中位数、最常见值、MICE）与分类器（如随机森林、XGBoost、梯度提升）的组合，以优化性能。
• 对表现最佳的流水线进行统计分析，识别有效插补器-分类器配对中的重复模式。

实验结果

研究问题

• RQ1 在存在缺失数据的情况下，遗传编程能否有效搜索到最优的插补与分类算法组合？
• RQ2 哪些插补方法在多种含缺失值的数据集中始终能带来更高的分类准确率？
• RQ3 不同的缺失数据模式（MCAR、MAR、MNAR）如何影响所演化流水线的性能？
• RQ4 是否存在在高性能流水线中更常出现的特定分类器-插补配对？
• RQ5 在TPOT中引入插补如何影响自动化机器学习流水线的整体性能与鲁棒性？

主要发现

• 遗传编程方法在多个含缺失数据的数据集中持续提升了分类准确率，证明了自动化流水线搜索的有效性。
• 没有单一插补方法在所有情况下均表现更优；相反，性能显著因数据集和缺失数据模式而异。
• 最频繁出现的插补方法在整体上实现了最高准确率，尽管中位数插补在多种数据集中被更频繁选择。
• 当与中位数或最常见值插补策略配对时，梯度提升分类器表现出色。
• 所演化的流水线表明，简单插补方法通常优于更复杂的插补方法，尤其是在缺失率较低至中等的情况下。
• 将插补集成到TPOT中扩展了搜索空间，并使得任何分类器——即使原本不支持缺失数据的分类器——也能在流水线中被使用。