[论文解读] LA-HCN: Label-based Attention for Hierarchical Multi-label TextClassification Neural Network

Xinyi Zhang, Jiahao Xu+2 more|arXiv (Cornell University)|Sep 23, 2020

Text and Document Classification Technologies参考文献 26被引用 4

一句话总结

本文提出LA-HCN，一种用于层次化多标签文本分类的新型神经网络，通过基于标签的注意力机制在标签层次的每一层提取任务特定特征。通过学习通过组件嵌入的层次表征，并采用独立的局部和全局文档嵌入，LA-HCN在四个基准数据集上实现了最先进性能，同时实现了与特定标签相关的可解释注意力可视化。

ABSTRACT

Hierarchical multi-label text classification (HMTC) has been gaining popularity in recent years thanks to its applicability to a plethora of real-world applications. The existing HMTC algorithms largely focus on the design of classifiers, such as the local, global, or a combination of them. However, very few studies have focused on hierarchical feature extraction and explore the association between the hierarchical labels and the text. In this paper, we propose a Label-based Attention for Hierarchical Mutlti-label Text Classification Neural Network (LA-HCN), where the novel label-based attention module is designed to hierarchically extract important information from the text based on the labels from different hierarchy levels. Besides, hierarchical information is shared across levels while preserving the hierarchical label-based information. Separate local and global document embeddings are obtained and used to facilitate the respective local and global classifications. In our experiments, LA-HCN outperforms other state-of-the-art neural network-based HMTC algorithms on four public HMTC datasets. The ablation study also demonstrates the effectiveness of the proposed label-based attention module as well as the novel local and global embeddings and classifications. By visualizing the learned attention (words), we find that LA-HCN is able to extract meaningful information corresponding to the different labels which provides explainability that may be helpful for the human analyst.

研究动机与目标

• 为解决现有HMTC模型仅关注分类器设计而忽视层次特征提取的局限性。
• 通过在标签层次的每一层学习标签特定的注意力机制，提升模型可解释性和性能。
• 通过使用独立的局部和全局文档嵌入，减少层次分类中的误差传播。
• 在保留标签特定特征表征的同时，实现在不同层次间有效共享层次化标签信息。
• 证明基于标签的注意力机制相比标准注意力机制，能实现更富有意义且可解释的特征提取。

提出的方法

• 引入基于标签的注意力机制，动态聚焦于每一层次中与特定标签相关的词语。
• 采用组件嵌入作为中间表征，连接词级特征与层次化标签，增强标签特定特征的学习。
• 生成独立的局部和全局文档嵌入，以支持独立的局部和全局分类头，减少误差传播。
• 通过组件机制在层次间共享标签信息，同时保持标签特定的特征表征。
• 采用双头分类策略——每层进行局部分类，整体层次进行全局分类——通过早期拼接嵌入实现融合。
• 应用层次注意力机制，使词语注意力基于每一层预测的标签进行条件化，实现可解释的注意力图。

实验结果

研究问题

• RQ1 基于标签的注意力机制是否能通过聚焦于标签特定内容，改善层次化多标签文本分类中的特征提取？
• RQ2 将局部和全局文档嵌入分离是否能减少层次分类中的误差传播？
• RQ3 所提出的组件嵌入机制在捕捉层次化各层之间标签依赖关系方面的有效性如何？
• RQ4 与最先进HMTC模型相比，该模型是否能在性能和可解释性方面实现更好表现？
• RQ5 层次信息共享在多大程度上提升了分类准确率，同时保持了标签特定的相关性？

主要发现

• LA-HCN在四个公开基准数据集上优于所有最先进神经网络基线HMTC模型，取得了最高的AU-PRC分数。
• 消融实验表明，组件嵌入机制显著提升了性能，其中LA-HCN NC（无组件）在各类变体中表现最差。
• 在四个数据集中的三个，全局分类始终优于局部分类，而两者结合则取得最佳结果。
• 注意力可视化显示，LA-HCN能正确突出与特定标签相关的关键词——例如，“yoga”对应“Exercise”，“spiritual”对应“Philosophy”，证明了其可解释性。
• 与HARNN和HAN不同，后者对所有标签应用统一注意力，LA-HCN为每个标签学习了不同的注意力模式，从而在各层次间保持了标签特定的相关性。
• 即使在更宽泛的层次上不相关，该模型仍能有效保留“yoga”等关键特征在深层的表征，展现出稳健的层次特征传播能力。