[论文解读] Multilabel Classification with R Package mlr

Philipp Probst, Quay Au+3 more|arXiv (Cornell University)|Mar 27, 2017

Text and Document Classification Technologies参考文献 32被引用 7

一句话总结

本文在 R 包 mlr 中实现了多标签分类算法，支持问题转换方法（二元相关性、分类器链、嵌套堆叠、依赖二元相关性及堆叠）与算法自适应方法（如 randomForestSRC 和 rFerns）的标准化使用。基准测试表明，依赖二元相关性在 F1 指标上表现最佳，而分类器链在子集 0/1 损失上表现最佳，且在 mlr 框架中展现出良好的可复现性与可扩展性。

ABSTRACT

We implemented several multilabel classification algorithms in the machine learning package mlr. The implemented methods are binary relevance, classifier chains, nested stacking, dependent binary relevance and stacking, which can be used with any base learner that is accessible in mlr. Moreover, there is access to the multilabel classification versions of randomForestSRC and rFerns. All these methods can be easily compared by different implemented multilabel performance measures and resampling methods in the standardized mlr framework. In a benchmark experiment with several multilabel datasets, the performance of the different methods is evaluated.

研究动机与目标

• 为 R 中的多标签分类提供统一、标准化的接口，基于 mlr 框架。
• 实现并集成多种多标签分类算法，包括问题转换方法与算法自适应方法。
• 通过在多样化多标签数据集上使用一致的性能度量与重采样技术，实现方法间的比较。
• 解决当前缺乏一个综合性 R 包来支持多种多标签学习器并提供统一接口的问题。
• 在标准评估指标下对不同方法进行性能基准测试，识别表现最优的方法。

提出的方法

• 使用问题转换方法将多标签问题转化为二元或多元分类问题，利用 mlr 中可访问的基础学习器。
• 二元相关性为每个标签独立训练一个二元分类器；分类器链则训练一个分类器链，其中每个分类器将先前标签作为特征输入。
• 嵌套堆叠与堆叠使用元学习器来组合基础模型的预测结果，以提升泛化能力。
• 依赖二元相关性通过标签顺序排列来建模标签依赖关系，扩展了二元相关性方法。
• 算法自适应方法（如 randomForestSRC 和 rFerns）被直接集成，实现无需转换的多标签学习。
• 所有方法均在 mlr 框架内使用标准化性能度量（如汉明损失、F1、子集 0/1 损失）与重采样技术进行评估。

Figure 1: Results for hamming loss and F 1 -index. The best performing algorithms are highlighted on the plot.

实验结果

研究问题

• RQ1 在多种数据集上，哪种多标签分类方法在 F1 分数与汉明损失指标上表现最佳？
• RQ2 问题转换方法（如分类器链与嵌套堆叠）与算法自适应方法（如 randomForestSRC 与 rFerns）相比表现如何？
• RQ3 标签依赖建模对性能有何影响？以依赖二元相关性与标准二元相关性对比可见。
• RQ4 基础学习器的选择如何影响 mlr 框架中多标签分类方法的性能？
• RQ5 mlr 框架能否支持高效、可扩展且可复现的多标签分类工作流，并实现标准化评估？

主要发现

• 依赖二元相关性在多个数据集上均实现了最佳的 F1 分数与准确率指标，表明其在标签依赖建模方面表现优异。
• 在大多数情况下，分类器链在子集 0/1 损失指标上优于其他方法，显示出在完整标签集预测中更高的预测准确性。
• 最佳方法（STA(rf)）在 birds 数据集上的汉明损失为 0.0429，而最差方法（rFerns）在 slashdot 上的汉明损失为 0.4925，凸显了方法间性能的显著差异。
• rFerns 表现持续不佳，其在 birds 上的汉明损失为 0.4148，在 slashdot 上为 0.4925，可能归因于其随机变量选择机制。
• randomForestSRC 在 genbase 与 langLog 数据集上表现强劲，汉明损失分别为 0.0006 与 0.0466，表明其在低维、稀疏标签集上具有鲁棒性。
• 基准测试发现，标签稀疏性导致部分算法在交叉验证过程中崩溃，提示未来 mlr 扩展需改进对罕见标签的处理能力。

Figure 2: Results for the remaining measures.