[论文解读] Multi-Label Learning with Deep Forest

Liang Yang, Xi-Zhu Wu+2 more|arXiv (Cornell University)|Nov 15, 2019

Text and Document Classification Technologies参考文献 32被引用 32

一句话总结

MLDF 引入一个带标签感知随机森林级联（深度森林），通过对测量的特征重用和层增长来利用多标签学习中的标签相关性，同时控制模型复杂度并优化用户指定的评价指标。

ABSTRACT

In multi-label learning, each instance is associated with multiple labels and the crucial task is how to leverage label correlations in building models. Deep neural network methods usually jointly embed the feature and label information into a latent space to exploit label correlations. However, the success of these methods highly depends on the precise choice of model depth. Deep forest is a recent deep learning framework based on tree model ensembles, which does not rely on backpropagation. We consider the advantages of deep forest models are very appropriate for solving multi-label problems. Therefore we design the Multi-Label Deep Forest (MLDF) method with two mechanisms: measure-aware feature reuse and measure-aware layer growth. The measure-aware feature reuse mechanism reuses the good representation in the previous layer guided by confidence. The measure-aware layer growth mechanism ensures MLDF gradually increase the model complexity by performance measure. MLDF handles two challenging problems at the same time: one is restricting the model complexity to ease the overfitting issue; another is optimizing the performance measure on user's demand since there are many different measures in the multi-label evaluation. Experiments show that our proposal not only beats the compared methods over six measures on benchmark datasets but also enjoys label correlation discovery and other desired properties in multi-label learning.

研究动机与目标

• 在传统的二元相关性之外，激发在多标签学习中利用标签相关性的动机。
• 提出一个基于深度森林的多标签任务框架，避免反向传播。
• 引入两种机制——测量感知的特征重用和测量感知的层增长——以在模型复杂度和多指标评估之间取得平衡。
• 展示对不同基础树模型的灵活性以及在基准数据集上的防过拟合鲁棒性。

提出的方法

• 将 MLDF 构建为多层级联，每层包含一个多标签森林的集合。
• 使用测量感知的特征重用，从前一层的良好表示中进行重用，并以所选测量的置信度为引导。
• 对不同多标签测量计算层级置信度，只有在置信度低于阈值时才选择性地重用前一层的表示。
• 通过监控目标测量的表现并在最近几层没有改进时自适应地确定层增长（交叉验证）。
• 在每层嵌入两种基础森林类型（RF-PCT 和 ERF-PCT）以促进多样性，并允许不同层的深度和森林数量不同。

实验结果

研究问题

• RQ1 MLDF 能否在多标签学习的深度森林框架中有效地利用标签相关性？
• RQ2 测量感知机制是否能够改善不同评估指标下的性能并控制过拟合？
• RQ3 在保持较强性能的同时，MLDF 是否对不同的基础树模型具有良好灵活性？
• RQ4 自适应层增长如何影响基准数据集上的模型复杂度与预测准确性？

主要发现

• MLDF 在多数据集及六个多标签测量指标上实现了研究所声称的强性能。
• 两种测量感知机制对于性能提升是必要的，并为优化不同用户指定的度量提供了灵活性。
• MLDF 通过其级联结构和自适应增长展示了标签相关性发现能力和对过拟合的鲁棒性。
• 实验表明 MLDF 能够容纳不同的基础树模型，并在与某些基线相比时保持具有竞争力的结果，同时降低模型复杂度。