[论文解读] An Extensive Evaluation of Filtering Misclassified Instances in Supervised Classification Tasks

Michael R. Smith, Tony Martinez|arXiv (Cornell University)|Dec 13, 2013

Machine Learning and Data Classification参考文献 27被引用 9

一句话总结

本文在未人为添加噪声的真实世界监督分类数据集中评估了误分类样本的过滤方法，对比了9种学习算法作为过滤器在54个数据集上的表现。研究发现，集成过滤显著提升了准确率，但多数投票集成在噪声数据上表现更优，因其具有固有的鲁棒性，使得过滤在多样化集成中并非最优选择。

ABSTRACT

Removing or filtering outliers and mislabeled instances prior to training a learning algorithm has been shown to increase classification accuracy. A popular approach for handling outliers and mislabeled instances is to remove any instance that is misclassified by a learning algorithm. However, an examination of which learning algorithms to use for filtering as well as their effects on multiple learning algorithms over a large set of data sets has not been done. Previous work has generally been limited due to the large computational requirements to run such an experiment, and, thus, the examination has generally been limited to learning algorithms that are computationally inexpensive and using a small number of data sets. In this paper, we examine 9 learning algorithms as filtering algorithms as well as examining the effects of filtering in the 9 chosen learning algorithms on a set of 54 data sets. In addition to using each learning algorithm individually as a filter, we also use the set of learning algorithms as an ensemble filter and use an adaptive algorithm that selects a subset of the learning algorithms for filtering for a specific task and learning algorithm. We find that for most cases, using an ensemble of learning algorithms for filtering produces the greatest increase in classification accuracy. We also compare filtering with a majority voting ensemble. The voting ensemble significantly outperforms filtering unless there are high amounts of noise present in the data set. Additionally, we find that a majority voting ensemble is robust to noise as filtering with a voting ensemble does not increase the classification accuracy of the voting ensemble.

研究动机与目标

• 评估在未人为添加噪声的真实世界、固有噪声数据集中过滤误分类样本的影响。
• 确定哪些学习算法作为过滤器最为有效，以及使用相同算法进行过滤和训练是否能提升性能。
• 比较过滤方法与多数投票集成在处理标签噪声方面的性能表现。
• 探究基于数据集特征的自适应过滤或基于规则的选择策略是否能提升结果。

提出的方法

• 将9种多样化的学习算法（C4.5、随机森林、Ridor等）作为独立过滤器，用于在训练前移除误分类样本。
• 通过整合全部9种算法的预测结果，实施集成过滤，以识别并移除误分类样本。
• 开发了一种自适应过滤算法，根据数据集特征和目标算法，从9种学习算法中选择子集进行过滤。
• 使用9种多样化的基分类器构建多数投票集成，并比较其在过滤与未过滤数据上的性能表现。
• 采用统计显著性检验（p值）比较不同过滤方法与学习算法之间的分类准确率。
• 根据原始准确率（如<90%、<80%）将数据集划分为子集，以评估在不同噪声水平下的性能表现。

实验结果

研究问题

• RQ1 在未人为添加噪声的真实世界数据集中，过滤误分类样本是否能提升分类准确率？
• RQ2 哪些学习算法作为过滤器表现最佳？使用与训练相同的算法进行过滤是否能提升性能？
• RQ3 在多种学习算法中，集成过滤是否优于个体或自适应过滤方法？
• RQ4 与过滤方法相比，多数投票集成在应对标签噪声方面表现如何？
• RQ5 过滤是否会降低多样化投票集成的性能？如果是，原因是什么？

主要发现

• 在所有9种学习算法中，集成过滤显著提升了分类准确率，优于个体过滤和自适应过滤方法。
• 对于具有高固有噪声的数据集（例如，误标样本超过10%），集成过滤在部分算法上实现了比投票集成更高的准确率，尽管投票集成整体表现依然强劲。
• 在未过滤数据上训练的多数投票集成平均准确率（83.62%）显著高于在过滤数据上训练的集成（82.09%），表明过滤损害了集成的多样性。
• 过滤降低了投票集成中基模型的多样性，削弱了其泛化能力，导致其性能低于未过滤训练的集成。
• 投票集成对噪声具有鲁棒性：其性能优于所有在过滤数据上训练的个体学习算法，尤其在原始准确率较低的困难数据集上表现更优。
• 未发现基于数据集特征的有效规则化过滤策略，且使用与训练相同算法进行过滤通常无法提升准确率。