[论文解读] Multi-Label Classification Methods for Multi-Target Regression

Eleftherios Spyromitros-Xioufis, William Groves+2 more|arXiv (Cornell University)|Nov 28, 2012

Text and Document Classification Technologies被引用 67

一句话总结

本文提出了两种新的多目标回归算法——多目标堆叠（MTS）和回归链集成（ERC），灵感源自多标签分类技术。论文指出了现有基于分解方法在构建附加输入变量时存在的缺陷，提出了改进版本（MTSC 和 ERCC），并通过在12个数据集上的实验表明，ERCC 显著优于强基线方法，包括多目标随机森林。

ABSTRACT

Real world prediction problems often involve the simultaneous prediction of multiple target variables using the same set of predictive variables. When the target variables are binary, the prediction task is called multi-label classification while when the target variables are real-valued the task is called multi-target regression. Although multi-target regression attracted the attention of the research community prior to multi-label classification, the recent advances in this field motivate a study of whether newer state-of-the-art algorithms developed for multi-label classification are applicable and equally successful in the domain of multi-target regression. In this paper we introduce two new multi-target regression algorithms: multi-target stacking (MTS) and ensemble of regressor chains (ERC), inspired by two popular multi-label classification approaches that are based on a single-target decomposition of the multi-target problem and the idea of treating the other prediction targets as additional input variables that augment the input space. Furthermore, we detect an important shortcoming on both methods related to the methodology used to create the additional input variables and develop modified versions of the algorithms (MTSC and ERCC) to tackle it. All methods are empirically evaluated on 12 real-world multi-target regression datasets, 8 of which are first introduced in this paper and are made publicly available for future benchmarks. The experimental results show that ERCC performs significantly better than both a strong baseline that learns a single model for each target using bagging of regression trees and the state-of-the-art multi-objective random forest approach. Also, the proposed modification results in significant performance gains for both MTS and ERC.

研究动机与目标

• 探究近期多标签分类技术的进展是否可被适配至多目标回归设置。
• 解决现有基于分解的多目标回归方法在构建附加输入变量时存在的关键缺陷。
• 开发 MTS 和 ERC 的改进版本，以纠正该缺陷并提升预测性能。
• 在包含12个真实世界多目标回归数据集的综合基准上评估所提方法，其中8个为新引入且公开可用的数据集。
• 通过提供可复现的基准和最先进性能结果，为未来研究建立坚实的实证基础。

提出的方法

• 通过将回归链的多标签分类方法适配至多目标回归，将其他目标变量作为输入特征，在顺序预测框架中进行处理。
• 通过训练多个目标顺序随机打乱的回归链并聚合预测结果，应用集成学习于回归链（ERC），以提升鲁棒性。
• 提出多目标堆叠（MTS）作为元集成方法，结合多个基于不同目标组合训练的基学习器的预测结果。
• 通过重新定义附加输入变量的构建方式，提出改进版本 MTSC 和 ERCC，以避免信息泄露并提升泛化能力。
• 采用回归树的自助采样法（bagging）作为强基线进行比较，并将最先进水平的多目标随机森林作为基准。
• 采用单目标分解策略，依次预测每个目标，使用所有其他目标作为输入特征以建模目标间的依赖关系。

实验结果

研究问题

• RQ1 最先进水平的多标签分类算法是否可成功适配至多目标回归设置？
• RQ2 构建附加输入变量的方法对基于分解的多目标回归模型性能有何影响？
• RQ3 修正输入构造缺陷后的 MTS 和 ERC 改进版本是否带来显著的性能提升？
• RQ4 所提方法在真实世界数据集上与强基线（如自助采样回归树和多目标随机森林）相比表现如何？
• RQ5 新引入的数据集是否适合用于未来多目标回归研究的基准测试？

主要发现

• 所提出的 ERCC 算法在12个评估数据集上显著优于自助采样回归树基线和最先进水平的多目标随机森林。
• 改进后的 ERCC 算法相较于原始 ERC 显著提升性能，证明了纠正输入变量构造方法的重要性。
• MTSC 变体相较于原始 MTS 显著提升性能，证实了输入变量构造缺陷对模型性能的负面影响。
• 新引入的8个真实世界多目标回归数据集为未来研究提供了宝贵的基准和可复现性支持。
• 实证结果证实，通过扩展输入空间建模目标间依赖关系，可获得优于独立目标建模的预测性能。
• 在所有评估算法中，采用正确输入构造的回归链集成方法（ERCC）在预测准确性和鲁棒性方面表现最优。