[论文解读] Label Disentanglement in Partition-based Extreme Multilabel Classification

Xuanqing Liu, Wei-Cheng Chang+3 more|arXiv (Cornell University)|Jun 24, 2021

Text and Document Classification Technologies参考文献 29被引用 5

一句话总结

该论文提出了一种基于优化的新型框架，用于基于划分的极端多标签分类（XMC）中的标签解缠，支持非互斥、多模态的标签聚类，从而提升精确率。通过联合优化标签分配与模型参数以最大化精确率，该方法在四个XMC基准上实现了最先进（SOTA）的性能，且训练与推理开销极低。

ABSTRACT

Partition-based methods are increasingly-used in extreme multi-label classification (XMC) problems due to their scalability to large output spaces (e.g., millions or more). However, existing methods partition the large label space into mutually exclusive clusters, which is sub-optimal when labels have multi-modality and rich semantics. For instance, the label "Apple" can be the fruit or the brand name, which leads to the following research question: can we disentangle these multi-modal labels with non-exclusive clustering tailored for downstream XMC tasks? In this paper, we show that the label assignment problem in partition-based XMC can be formulated as an optimization problem, with the objective of maximizing precision rates. This leads to an efficient algorithm to form flexible and overlapped label clusters, and a method that can alternatively optimizes the cluster assignments and the model parameters for partition-based XMC. Experimental results on synthetic and real datasets show that our method can successfully disentangle multi-modal labels, leading to state-of-the-art (SOTA) results on four XMC benchmarks.

研究动机与目标

• 为解决基于划分的XMC中互斥标签聚类的局限性，该局限性无法捕捉标签的多模态语义。
• 通过允许标签属于多个聚类，实现对多模态标签（如“Apple”作为水果或品牌）的解缠。
• 将标签分配建模为一个最大化精确率的优化问题，以端到端、即插即用的方式与现有XMC模型集成。
• 通过优化聚类分配与模型参数的替代方式，提升领先XMC方法（如XR-Linear和X-Transformer）的性能。

提出的方法

• 将标签聚类重新表述为一个最大化精确率的优化问题，允许标签被分配到多个聚类中。
• 提出一种迭代算法，通过可微分松弛的分配问题，交替更新标签分配与模型参数。
• 使用可微分松弛的聚类分配矩阵，使反向传播能够通过聚类步骤。
• 采用基于精确率的目标函数，根据当前模型预测指导重叠标签聚类的学习。
• 作为插件模块应用于现有基于划分的XMC模型（如XR-Linear和X-Transformer），无需修改其核心架构。
• 采用预热策略与替代优化循环（算法1），联合优化聚类映射与匹配器模型。

实验结果

研究问题

• RQ1 与互斥聚类相比，重叠标签聚类是否能更好地捕捉极端多标签分类中的多模态语义？
• RQ2 如何将标签解缠建模为一个能提升XMC中精确率的优化问题？
• RQ3 标签分配与模型参数学习能否以可微分且可扩展的方式联合优化？
• RQ4 所提出的方法是否在不同规模的标签空间下，于多样化XMC基准上均保持一致的性能提升？
• RQ5 与基线的基于划分的XMC模型相比，该方法的训练与推理开销如何？

主要发现

• 所提方法在四个XMC基准上实现了新的最先进精确率结果，包括在Amazon-3M上达到47.51%的P@1，超越了之前的SOTA。
• 在Amazon-3M上，当使用相同特征时，该方法相较于基线XR-Linear在P@1上提升了0.77%的绝对值，在P@5上提升了0.88%。
• 在X-Transformer上，该方法在Amazon-3M上仅引入1.1%的额外训练时间与21.1%的推理开销，表明计算成本极低。
• 替代优化（联合训练模型与聚类分配）带来一致的性能提升，与固定分配相比，Amazon-3M上的P@1提升了0.43%。
• 该方法在具有复杂标签语义的大规模数据集（如Amazon-3M）上尤为有效，其中标签解缠带来了显著的性能增益。
• 消融实验确认，性能提升源于精确率驱动的聚类，而非随机分配，因为随机基线的性能显著更差。