[论文解读] HAXMLNet: Hierarchical Attention Network for Extreme Multi-Label Text Classification

Ronghui You, Zihan Zhang+2 more|arXiv (Cornell University)|Mar 24, 2019

Text and Document Classification Technologies参考文献 8被引用 7

一句话总结

HAXMLNet 提出了一种用于极端多标签文本分类的层次注意力网络，利用概率标签树（PLT）降低模型复杂度，并在包含数十万标签的数据集上实现高效训练与推理。通过在组级别和标签级别分类器中应用标签级注意力，HAXMLNet 实现了具有竞争力的性能，在 Wiki-500K 上表现优于最先进方法，在 Amazon-670K 上达到顶尖水平。

ABSTRACT

Extreme multi-label text classification (XMTC) addresses the problem of tagging each text with the most relevant labels from an extreme-scale label set. Traditional methods use bag-of-words (BOW) representations without context information as their features. The state-ot-the-art deep learning-based method, AttentionXML, which uses a recurrent neural network (RNN) and the multi-label attention, can hardly deal with extreme-scale (hundreds of thousands labels) problem. To address this, we propose our HAXMLNet, which uses an efficient and effective hierarchical structure with the multi-label attention. Experimental results show that HAXMLNet reaches a competitive performance with other state-of-the-art methods.

研究动机与目标

• 解决现有深度学习方法（如 AttentionXML）在包含数十万标签的极端多标签文本分类（XMTC）中面临的可扩展性限制。
• 在训练和推理过程中降低计算复杂度与模型大小，同时保留标签级注意力以建模上下文信息与长期依赖关系。
• 通过引入基于概率标签树（PLT）的层次结构，实现对极端规模标签集的高效处理。
• 在 Amazon-670K 和 Wiki-500K 等基准数据集上保持具有竞争力的性能，即使面对标签稀疏性和高维性挑战。
• 提供一种可递归应用的框架，当组级别模型仍计算成本过高时可迭代使用。

提出的方法

• HAXMLNet 构建了一个包含根节点、组标签和个体标签的三级层次化概率标签树（PLT），采用自顶向下的 k-means 聚类方法以确保组大小均衡。
• 仅以组标签作为目标，训练组级别分类器（HAXMLNet-G），将标签空间减少至 |L|/g，其中 g 为组数。
• 使用候选标签（正样本原始标签与部分负样本）训练标签级别分类器（HAXMLNet-L），每样本候选标签数量限制在 1,000 以内以控制复杂度。
• 预测阶段，每个标签 j 的最终得分通过 G(j) 的组级别得分与 j 的标签级别得分的乘积计算，遵循概率的链式法则。
• 模型采用标签级注意力机制，利用注意力参数 w_j，通过在上下文表示 h_i 上应用 softmax 计算注意力权重 α_ij，以聚焦于每个标签相关的文本部分。
• HAXMLNet-L 的训练损失为候选标签上的二元交叉熵损失，其条件概率由 PLT 结构推导得出。

实验结果

研究问题

• RQ1 层次注意力机制是否能有效扩展深度学习模型，以应对超过 50 万标签的极端多标签文本分类任务？
• RQ2 使用概率标签树（PLT）在保持预测性能的同时，如何降低计算复杂度？
• RQ3 在极端规模数据集上，与平面注意力机制相比，层次结构中的标签级注意力在多大程度上提升了性能？
• RQ4 当组级别模型仍过大时，递归应用层次化框架是否能进一步降低模型复杂度？
• RQ5 在标准 XMTC 基准测试中，HAXMLNet 与 Parabel 和 DiSMEC 等最先进方法相比性能如何？

主要发现

• 在 Wiki-500K 数据集上，HAXMLNet 在所有对比方法中表现最佳，Precision@1 达到 70.44%，nDCG@5 达到 60.80%。
• 在 Amazon-670K 上，HAXMLNet 的 Precision@1 为 41.09%，nDCG@5 为 36.64%，优于 PfastreXML 和 AnnexML，在标签稀疏性较高的情况下仍表现出色。
• HAXMLNet 在 Wiki-500K 上的性能超越了使用三棵树的 Parabel，仅依赖单一层次树结构，表明其在效率与有效性方面更具优势。
• 模型的候选标签剪枝策略（c=1000）有效控制了计算成本，且未造成显著性能下降。
• 层次化设计显著降低了模型规模与训练复杂度，使模型可在 GPU 显存受限的系统上部署。
• 当组级别模型仍过大时，框架的递归应用可进一步提升可扩展性。