[论文解读] Multi-label classification: do Hamming loss and subset accuracy really conflict with each other?

Guoqiang Wu, Jun Zhu|arXiv (Cornell University)|Nov 16, 2020

Text and Document Classification Technologies参考文献 25被引用 12

一句话总结

本文通过泛化界分析解决了多标签分类中Hamming Loss（HL）与Subset Accuracy（SA）之间看似矛盾的问题：尽管理论上二者存在冲突，但优化HL的模型在小标签空间中常表现出色。基于Rademacher复杂度与向量收缩不等式，研究证明：HL优化算法在HL上的泛化界与标签数$c$无关，而在SA上的泛化界为$O(c)$；而SA优化模型在HL与SA上的泛化界均为$O(\sqrt{c})$，这解释了为何在小标签空间中HL优化模型在SA上表现更优。实验结果验证了理论发现。

ABSTRACT

Various evaluation measures have been developed for multi-label classification, including Hamming Loss (HL), Subset Accuracy (SA) and Ranking Loss (RL). However, there is a gap between empirical results and the existing theories: 1) an algorithm often empirically performs well on some measure(s) while poorly on others, while a formal theoretical analysis is lacking; and 2) in small label space cases, the algorithms optimizing HL often have comparable or even better performance on the SA measure than those optimizing SA directly, while existing theoretical results show that SA and HL are conflicting measures. This paper provides an attempt to fill up this gap by analyzing the learning guarantees of the corresponding learning algorithms on both SA and HL measures. We show that when a learning algorithm optimizes HL with its surrogate loss, it enjoys an error bound for the HL measure independent of $c$ (the number of labels), while the bound for the SA measure depends on at most $O(c)$. On the other hand, when directly optimizing SA with its surrogate loss, it has learning guarantees that depend on $O(\\sqrt{c})$ for both HL and SA measures. This explains the observation that when the label space is not large, optimizing HL with its surrogate loss can have promising performance for SA. We further show that our techniques are applicable to analyze the learning guarantees of algorithms on other measures, such as RL. Finally, the theoretical analyses are supported by experimental results.

研究动机与目标

• 解决多标签分类中Hamming Loss（HL）与Subset Accuracy（SA）作为衡量指标时，经验观察与理论声称存在冲突的差异。
• 为学习算法在HL、SA和Ranking Loss（RL）上的泛化误差提供边界，弥补以往研究中假设无约束假设空间和已知条件分布的局限。
• 解释为何优化HL的算法在小标签空间中常能取得优异的SA表现，与理论预期相反。
• 将分析扩展至其他度量（如RL），并通过实验验证发现。

提出的方法

• 作者利用Rademacher复杂度与向量收缩不等式，推导出基于核的机器学习算法在HL、SA和RL上的泛化界。
• 提出一种新的SA凸代理损失函数，命名为$L_s$，其计算高效并能捕捉标签依赖关系。
• 分析聚焦于两种算法：一种通过其代理损失优化HL（$\mathcal{A}^h$），另一种通过$L_s$直接优化SA（$\mathcal{A}^s$）。
• 为两种算法推导出理论边界，表明$\mathcal{A}^h$在SA上的依赖为$O(c)$，而$\mathcal{A}^s$在HL与SA上的依赖均为$O(\sqrt{c})$。
• 通过代理损失将框架扩展至Ranking Loss（RL）的分析，得到$O(\sqrt{c})$的边界。
• 理论结果通过多标签数据集上的实证实验得到支持。

实验结果

研究问题

• RQ1 为何优化Hamming Loss（HL）的算法在小标签空间中常能取得优异的Subset Accuracy（SA）表现，尽管理论上认为两者存在冲突？
• RQ2 在假设空间受限的真实学习场景中，HL与SA的泛化误差边界如何依赖于标签数$c$？
• RQ3 能否设计一种SA的代理损失，使其泛化边界比现有方法更紧致，同时保持计算效率？
• RQ4 当使用Rademacher复杂度与向量收缩不等式推导时，HL、SA与RL的学习保证如何比较？

主要发现

• 通过代理损失优化HL时，其泛化界与标签数$c$无关，表明对标签空间大小具有鲁棒性。
• 在HL优化下，SA的泛化界依赖于$O(c)$，在小标签空间中仍具优势。
• 相比之下，通过代理损失直接优化SA时，其在HL与SA上的边界均为$O(\sqrt{c})$，在大标签空间中更具可扩展性。
• 理论分析解释了为何在小标签设置下，HL优化模型在SA上的表现可优于SA优化模型，从而解决了长期存在的经验悖论。
• 所提出的SA代理损失$L_s$计算高效并能捕捉标签依赖，为结构化SVM提供了一种实用的替代方案。
• 实验结果支持理论发现，证实当$c$较小时，HL优化模型在SA上表现优异。