[论文解读] Exploring Correlation between Labels to improve Multi-Label Classification

Amit Garg, Jonathan Noyola+3 more|arXiv (Cornell University)|Nov 25, 2015

Text and Document Classification Technologies被引用 3

一句话总结

本文通过在独立二值分类器中引入成对标签相关性，提升多标签文本分类性能，采用个体标签概率与相关性概率的加权乘积。该方法在保留数据上使F1得分相比基线二值模型提升12.9%，表明尽管在复杂特征空间中增益有限，建模标签共现仍能显著提升性能。

ABSTRACT

This paper attempts multi-label classification by extending the idea of independent binary classification models for each output label, and exploring how the inherent correlation between output labels can be used to improve predictions. Logistic Regression, Naive Bayes, Random Forest, and SVM models were constructed, with SVM giving the best results: an improvement of 12.9\% over binary models was achieved for hold out cross validation by augmenting with pairwise correlation probabilities of the labels.

研究动机与目标

• 解决多标签文本分类中的挑战，即单个输入可对应多个标签，如产品评论。
• 通过利用输出标签之间的固有相关性，而非独立处理，来提升预测准确性。
• 开发一种可移植、可扩展的方法，适用于如Amazon产品评论和Twitter推文等多样化数据集。
• 评估二阶标签相关性对模型性能的影响，同时最小化计算开销。

提出的方法

• 针对预处理并词干化的文本中提取的tf-idf特征向量，为31个顶级图书标签中的每一个训练31个L2正则化SVM二值分类器。
• 从10万条训练评论中构建行归一化的对称相关性矩阵，使用拉普拉斯平滑和几何平均以确保对称性。
• 推理时，基于单个分类器得分，为每个实例选择前J个标签，然后计算组合得分：$ P(a)P(b)P(a,b)^\alpha $，适用于所有标签对。
• 采用类似束搜索的贪心策略，选取组合得分最高的K个标签对，形成最终预测标签集合。
• 引入超参数 $ \alpha \in [0,1] $，以控制成对相关性相对于个体预测的影响程度。
• 在需要时应用稀疏SVD以降低高维tf-idf特征的维度，尽管这显著增加了计算时间，但未改善错误率。

实验结果

研究问题

• RQ1 建模成对标签相关性是否能显著提升多标签分类性能，超越独立二值分类？
• RQ2 包含二阶相关性概率如何影响多标签学习中偏差与方差之间的权衡？
• RQ3 当标签相关性具有数据集特异性时，单一模型在一种数据集（如Amazon）上训练后，能在多大程度上泛化到另一数据集（如Twitter）？
• RQ4 成对相关性带来的边际增益是否足以证明其复杂性的增加，特别是当更高阶依赖关系可能被忽略时？

主要发现

• 所提方法在保留数据上的F1得分相比基线独立二值模型提升了12.9%。
• SVM在高维特征空间中表现出色，优于逻辑回归、朴素贝叶斯和随机森林，尤其因其良好的泛化能力。
• 尽管通过稀疏SVD降低了特征维度，测试错误率仍居高不下，表明高方差——而非高偏差——是主要问题。
• 训练错误率较低（约10%），但测试错误率显著更高，表明存在过拟合，尤其在特征与样本比极大的情况下。
• 相关性矩阵揭示了显著的共现模式（在可视化中表现为明显峰值），支持将成对相关性作为有意义信号使用。
• 更高阶的标签依赖关系（如A、B和C从不共现）未被捕捉，表明通过更复杂的相关性建模仍有进一步提升空间。