[论文解读] Deep Learning for Multi-label Classification

Jesse Read, Fernando Pérez‐Cruz|arXiv (Cornell University)|Dec 17, 2014

Text and Document Classification Technologies参考文献 28被引用 29

一句话总结

本文提出使用受限玻尔兹曼机（RBMs）和深度置信网络（DBNs）来学习多标签分类的紧凑、分层特征表示，显著提升预测性能。通过变换输入空间以减少标签之间的依赖性，该方法相较基线方法将准确率最高提升了15个百分点，在多种真实世界数据集上优于最先进方法。

ABSTRACT

In multi-label classification, the main focus has been to develop ways of learning the underlying dependencies between labels, and to take advantage of this at classification time. Developing better feature-space representations has been predominantly employed to reduce complexity, e.g., by eliminating non-helpful feature attributes from the input space prior to (or during) training. This is an important task, since many multi-label methods typically create many different copies or views of the same input data as they transform it, and considerable memory can be saved by taking advantage of redundancy. In this paper, we show that a proper development of the feature space can make labels less interdependent and easier to model and predict at inference time. For this task we use a deep learning approach with restricted Boltzmann machines. We present a deep network that, in an empirical evaluation, outperforms a number of competitive methods from the literature

研究动机与目标

• 通过学习更有效、低维的特征表示以减少标签间依赖性，从而提升多标签分类性能。
• 证明基于深度学习的特征工程可增强现有多标签分类器的预测能力。
• 通过无监督特征提取实现在多标签设置下的增量学习与内存效率。
• 在多样化的真实世界多标签数据集上评估基于RBM和DBN的特征空间的有效性。
• 表明特征空间压缩的影响可能超过单纯建模标签依赖性在多标签学习中的作用。

提出的方法

• 使用受限玻尔兹曼机（RBMs）以无监督方式学习输入特征的低维、结构化表示。
• 采用贪婪的逐层预训练策略，将多个RBMs堆叠为深度置信网络（DBNs）。
• 应用两种DBN架构：一种是最终隐藏层与标签联合训练（DBN²_ECC），另一种通过反向传播进行微调（DBN³_bp）。
• 将学习到的特征作为标准多标签分类器（如SVM和逻辑回归）的输入。
• 在训练前通过RBMs进行特征提取，以降低输入空间的维度和冗余性。
• 采用67:33的内部训练/测试划分进行超参数调优，使用稳健的学习率和动量值。

实验结果

研究问题

• RQ1 通过RBMs进行无监督深度学习特征提取是否能提升多标签分类器的预测性能？
• RQ2 学习输入特征的紧凑、分层表示是否能减少标签间依赖性并简化分类任务？
• RQ3 在多样化多标签数据集上，RBMs处理后的特征与原始输入特征相比，在准确率和可扩展性方面表现如何？
• RQ4 基于DBN的模型是否能在实现增量学习和内存效率的同时，达到多标签分类的最先进性能？
• RQ5 不同多标签分类方法在多大程度上受益于基于RBM的特征工程？

主要发现

• 所提出的基于RBM的特征提取方法相较使用原始输入特征，将预测准确率最高提升了15个百分点。
• DBN²_ECC模型在所有数据集上均达到最高或接近最高的准确率，优于甚至超过表现最佳的基线方法。
• 使用RBM生成特征的逻辑回归模型在性能上匹配或接近SVM，同时提供了更好的学习特征可解释性。
• DBN³_bp模型在医学和Enron数据集上表现强劲，证明了反向传播微调的价值。
• 该方法显著提升了以往表现较弱的分类器（如逻辑回归和MLkNN）的性能，通过改善其特征表示。
• 利用未标记数据对RBMs进行预训练，实现了有效特征学习且标注成本更低，尤其在标签密度较高的多标签场景中更具优势。