[论文解读] Label-aware Document Representation via Hybrid Attention for Extreme Multi-Label Text Classification

Xin Huang, Boli Chen+2 more|arXiv (Cornell University)|May 24, 2019

Text and Document Classification Technologies参考文献 32被引用 10

一句话总结

本文提出LAHA，一种混合注意力深度神经网络，通过在共享潜在空间中联合建模文档内容与标签结构，学习标签感知的文档表征。通过整合词元之间的自注意力机制与词元和标签之间的交互注意力机制，LAHA在极端多标签文本分类任务中取得当前最优性能，尤其在长尾标签上表现突出，在五个基准数据集上显著提升了nDCG@5与P@3指标。

ABSTRACT

Extreme multi-label text classification (XMTC) aims at tagging a document with most relevant labels from an extremely large-scale label set. It is a challenging problem especially for the tail labels because there are only few training documents to build classifier. This paper is motivated to better explore the semantic relationship between each document and extreme labels by taking advantage of both document content and label correlation. Our objective is to establish an explicit label-aware representation for each document with a hybrid attention deep neural network model(LAHA). LAHA consists of three parts. The first part adopts a multi-label self-attention mechanism to detect the contribution of each word to labels. The second part exploits the label structure and document content to determine the semantic connection between words and labels in a same latent space. An adaptive fusion strategy is designed in the third part to obtain the final label-aware document representation so that the essence of previous two parts can be sufficiently integrated. Extensive experiments have been conducted on six benchmark datasets by comparing with the state-of-the-art methods. The results show the superiority of our proposed LAHA method, especially on the tail labels.

研究动机与目标

• 为解决极端多标签文本分类（XMTC）的挑战，特别是针对训练样本极少的低资源长尾标签。
• 通过显式建模词元与标签之间的语义关系，结合内容与标签结构，改进文档表征。
• 设计一个统一框架，整合文档级与标签级表征，以提升分类性能。
• 克服现有基于注意力机制模型仅关注文档内容或忽略标签相关性的局限。

提出的方法

• 使用自注意力双向LSTM计算所有标签下的词元重要性得分，捕捉标签特定的词元贡献。
• 利用标签共现结构在共享潜在空间中学习词元与标签嵌入，以保留标签层次结构与相关性。
• 应用交互注意力机制，显式计算共享空间中词元与标签之间的语义对齐。
• 采用自适应融合策略，结合自注意力与交互注意力模块的信息，生成最终的标签感知文档表征。
• 使用交叉熵损失端到端训练模型，以优化所有标签的预测性能。

实验结果

研究问题

• RQ1 联合建模文档内容与标签结构是否能提升极端多标签文本分类中的表征学习？
• RQ2 通过潜在空间引入标签结构在低资源长尾标签上的性能提升程度如何？
• RQ3 结合自注意力与交互注意力的混合注意力机制是否优于仅依赖单一注意力机制的模型？
• RQ4 标签感知表征在基准数据集上的分类指标（如P@τ与nDCG@τ）上改善程度如何？

主要发现

• LAHA在五个基准数据集上整体表现最佳，所有指标中胜出次数最多（共20次比较中胜出19次）。
• 在AAPD数据集上，LAHA取得84.48% P@1、60.72% P@3与83.70% nDCG@5，分别领先第二名方法（AttentionXML）1.46%（P@1）与2.98%（nDCG@5）。
• 在Amazon-12K数据集上，LAHA取得94.87% P@1与89.13% nDCG@3，显著优于SLEEC（93.49% P@1）与AttentionXML（93.75% P@1）。
• LAHA在长尾标签上的提升最为显著，与AttentionXML相比，Wiki-30K数据集上P@5指标最高提升达3.5%。
• 该模型在训练样本较少的数据集（如EUR-Lex与Wiki-30K）上表现尤为出色，而这些数据集通常导致深度学习模型性能下降，表明其对数据稀疏性的鲁棒性。