[论文解读] Feature Ranking for Semi-supervised Learning

Matej Petković, Sašo Džeroski+1 more|arXiv (Cornell University)|Aug 10, 2020

Computational Drug Discovery Methods被引用 5

一句话总结

本文提出了一种基于树集成和Relief算法的半监督特征排序方法，适用于分类、回归及结构化输出预测（多标签、层次多标签和多目标任务）。实验表明，在大多数基准数据集上引入未标记数据能提升特征排序性能，其中随机森林方法效率最高，且半监督排序在多数情况下优于监督方法。

ABSTRACT

The data made available for analysis are becoming more and more complex along several directions: high dimensionality, number of examples and the amount of labels per example. This poses a variety of challenges for the existing machine learning methods: coping with dataset with a large number of examples that are described in a high-dimensional space and not all examples have labels provided. For example, when investigating the toxicity of chemical compounds there are a lot of compounds available, that can be described with information rich high-dimensional representations, but not all of the compounds have information on their toxicity. To address these challenges, we propose semi-supervised learning of feature ranking. The feature rankings are learned in the context of classification and regression as well as in the context of structured output prediction (multi-label classification, hierarchical multi-label classification and multi-target regression). To the best of our knowledge, this is the first work that treats the task of feature ranking within the semi-supervised structured output prediction context. More specifically, we propose two approaches that are based on tree ensembles and the Relief family of algorithms. The extensive evaluation across 38 benchmark datasets reveals the following: Random Forests perform the best for the classification-like tasks, while for the regression-like tasks Extra-PCTs perform the best, Random Forests are the most efficient method considering induction times across all tasks, and semi-supervised feature rankings outperform their supervised counterpart across a majority of the datasets from the different tasks.

研究动机与目标

• 为解决机器学习中高维、部分标记数据的挑战，提出半监督特征排序方法。
• 将特征排序扩展至结构化输出预测任务，包括多标签、层次多标签和多目标回归。
• 评估未标记数据是否能提升特征排序性能，相较于纯监督方法。
• 比较不同集成方法与基于Relief的算法在多样化学习任务中的有效性与效率。

提出的方法

• 提出两种半监督特征排序方法：一种基于树集成（随机森林、Extra Trees、Bagging），采用三种评分函数（Genie3、Symbolic、随机森林评分）；另一种基于Relief算法的回归变体。
• 通过扩展至结构化输出预测任务，将Relief家族算法适配于半监督学习。
• 利用聚类假设来利用未标记数据，假设数据聚类反映了目标值的分布。
• 采用统一框架处理单目标与多目标预测任务，包括层次结构和多标签输出。
• 所有方法均在Clus系统（Java）中实现，Laplace评分则使用scikit-learn在Python中实现近邻运算。
• 使用38个基准数据集在五项任务中评估性能：分类、多标签、层次多标签、回归和多目标回归。

实验结果

研究问题

• RQ1 在不同任务中，哪种集成方法（随机森林、Extra Trees、Bagging）的特征排序性能最佳？
• RQ2 半监督特征排序与监督方法相比，在性能和泛化能力方面表现如何？
• RQ3 在结构化输出预测任务中，使用未标记数据能否提升特征排序质量？
• RQ4 针对每类学习任务（分类、回归、多目标等），哪种特征排序算法表现最佳？
• RQ5 不同半监督特征排序方法在诱导时间方面的计算效率如何？

主要发现

• 在分类类任务（分类、多标签、层次多标签分类）中，随机森林在所有任务中表现一致最优，平均排名最高。
• 在回归类任务（回归和多目标回归）中，Extra-PCTs表现最佳，其中Symbolic评分函数在这些设置中表现最优。
• 随机森林在整体上效率最高，所有任务中诱导时间最快，其次为Extra Trees和Bagging。
• 在所有五项任务的多数数据集中，半监督特征排序优于监督方法，表明未标记数据可提升特征相关性估计质量。
• 对于标准分类任务，基于Relief的方法表现最佳；而对于层次多标签分类任务，基于Genie3的排序方法最优。
• Laplace评分诱导时间最快，尽管其计算操作与Relief相似，但得益于scikit-learn对k-NN的优化实现。