[论文解读] Multi-label Classification using Labels as Hidden Nodes

Jesse Read, Jaakko Hollmén|arXiv (Cornell University)|Mar 31, 2015

Text and Document Classification Technologies参考文献 15被引用 7

一句话总结

本文提出了一种新颖的多标签分类方法，将标签视为神经网络类架构中的合成隐藏节点，从而无需显式建模标签依赖关系。通过将输入特征与标签输出结合为中间隐藏表示，该方法在使用线性基学习器时表现出具有竞争力的性能，并且在可扩展性方面显著优于基于梯度的方法。

ABSTRACT

Competitive methods for multi-label classification typically invest in learning labels together. To do so in a beneficial way, analysis of label dependence is often seen as a fundamental step, separate and prior to constructing a classifier. Some methods invest up to hundreds of times more computational effort in building dependency models, than training the final classifier itself. We extend some recent discussion in the literature and provide a deeper analysis, namely, developing the view that label dependence is often introduced by an inadequate base classifier, rather than being inherent to the data or underlying concept; showing how even an exhaustive analysis of label dependence may not lead to an optimal classification structure. Viewing labels as additional features (a transformation of the input), we create neural-network inspired novel methods that remove the emphasis of a prior dependency structure. Our methods have an important advantage particular to multi-label data: they leverage labels to create effective units in middle layers, rather than learning these units from scratch in an unsupervised fashion with gradient-based methods. Results are promising. The methods we propose perform competitively, and also have very important qualities of scalability.

研究动机与目标

• 解决现有依赖建模的多标签分类方法在效率和过拟合方面的问题。
• 探究标签依赖关系是否本质上存在于数据中，还是由弱基分类器和贪婪推理方案所导致。
• 开发一种可扩展、高效的分类方法，利用标签作为合成隐藏节点，以提升分类性能，且无需迭代训练。
• 证明标签组合可作为有效的即时隐藏表示，从而减少深度学习中对反向传播的依赖。

提出的方法

• 通过组合输入特征与标签输出，将标签视为合成隐藏节点，构建中间表示。
• 构建多层架构，其中内层节点由标签的逻辑组合构成，从而将标签向量转化为类似特征的表示。
• 采用级联结构，将早期标签的预测结果作为输入传递给后续分类器，模拟分类器链结构，但无需概率推理。
• 提出两种变体：CCASL（带人工标签的分类器链）和PCCASL（基于蒙特卡洛采样的概率CCASL），以实现灵活且可扩展的推理。
• 通过直接从标签组合构建合成节点，避免对隐藏层进行基于梯度的训练，显著降低计算成本。
• 在这些合成特征上使用线性基学习器（如逻辑回归或随机森林），实现快速且可扩展的训练。

实验结果

研究问题

• RQ1 在多层架构中将标签视为隐藏节点是否能优于显式建模标签依赖的传统多标签方法？
• RQ2 标签依赖建模带来的性能提升是源于数据本身的固有结构，还是对弱基分类器和贪婪推理方案的补偿？
• RQ3 合成标签组合能否作为有效的即时隐藏表示，而无需反向传播或迭代训练？
• RQ4 将标签作为隐藏节点是否能提升可扩展性和泛化能力，尤其是在使用简单线性基学习器时？

主要发现

• 所提出的CCASL方法在多个数据集上表现具有竞争力，其汉明分数（Hamming score）和精确匹配（exact match）指标均优于二元相关性（binary relevance）和传统分类器链方法。
• 采用蒙特卡洛采样推理的PCCASL进一步提升了性能，证明了在合成标签框架中概率推理的有效性。
• 该方法展现出强大的可扩展性，尤其在使用线性基学习器时表现优异，且在无需显式标签依赖建模的情况下仍表现良好。
• 结果表明，作为隐藏节点的标签组合比随机投影网络（如ELM）更有效且高效，且比标准反向传播神经网络（MLP）更快。
• 该方法在使用简单线性模型时即取得高性能，表明性能提升源于合成节点的构建方式，而非复杂基分类器。
• 在Scene、Ohsumed和MediaMill等数据集上的实证评估证实了持续的性能增益，尤其在汉明损失和精确匹配指标上表现突出。