[论文解读] GNN-XML: Graph Neural Networks for Extreme Multi-label Text Classification

Daoming Zong, Shiliang Sun|arXiv (Cornell University)|Dec 10, 2020

Text and Document Classification Technologies参考文献 48被引用 7

一句话总结

GNN-XML 提出了一种图神经网络框架，用于极端多标签文本分类，通过利用标签共现关系构建标签图，并应用带低通滤波的属性图聚类，形成依赖关系和语义感知的标签聚类。该方法进一步采用双边分支图同构网络，解耦表示学习与分类器学习，显著提升了尾部标签的性能，同时保持高效，在多个基准测试中超越了最先进方法。

ABSTRACT

Extreme multi-label text classification (XMTC) aims to tag a text instance with the most relevant subset of labels from an extremely large label set. XMTC has attracted much recent attention due to massive label sets yielded by modern applications, such as news annotation and product recommendation. The main challenges of XMTC are the data scalability and sparsity, thereby leading to two issues: i) the intractability to scale to the extreme label setting, ii) the presence of long-tailed label distribution, implying that a large fraction of labels have few positive training instances. To overcome these problems, we propose GNN-XML, a scalable graph neural network framework tailored for XMTC problems. Specifically, we exploit label correlations via mining their co-occurrence patterns and build a label graph based on the correlation matrix. We then conduct the attributed graph clustering by performing graph convolution with a low-pass graph filter to jointly model label dependencies and label features, which induces semantic label clusters. We further propose a bilateral-branch graph isomorphism network to decouple representation learning and classifier learning for better modeling tail labels. Experimental results on multiple benchmark datasets show that GNN-XML significantly outperforms state-of-the-art methods while maintaining comparable prediction efficiency and model size.

研究动机与目标

• 解决极端多标签文本分类（XMTC）中的可扩展性和数据稀疏性挑战，其中标签集合可能达到数百万个。
• 通过建模标签相关性和依赖关系，克服现有方法的局限性——如基于树的模型中的误差传播问题以及在尾部标签上的泛化能力差。
• 开发一种可扩展的端到端框架，在大规模标签空间下仍保持高预测效率。
• 通过解耦表示学习与分类器学习，提升长尾标签分布下的性能，实现更好的尾部标签识别。

提出的方法

• 利用训练数据中的共现模式构建标签图，以捕捉标签相关性。
• 应用带低通图滤波的属性图聚类，联合建模标签连通性与标签特征，形成语义感知和依赖感知的聚类。
• 通过 KeyGraph 模式集成预训练语言模型（如 BERT），以深度上下文特征丰富文本表示。
• 设计双边分支图同构网络，解耦表示学习与分类器学习，通过再平衡实现对尾部标签的渐进关注。
• 使用图读出操作将节点嵌入聚合为全局文本表示，用于与标签聚类匹配。
• 在训练过程中采用高效的图采样策略，实现在有限 GPU 和内存资源下的训练，确保可扩展性。

实验结果

研究问题

• RQ1 在极端多标签设置下，能否有效利用标签共现模式形成有意义的、语义感知的标签聚类？
• RQ2 将表示学习与分类器学习解耦，是否能提升 XMTC 中低资源（尾部）标签的泛化能力？
• RQ3 图神经网络框架能否在扩展至数百万个标签的同时保持高预测效率？
• RQ4 预训练语言模型的集成在 GNN-XML 框架中对性能有何影响？
• RQ5 所提出的标签聚类策略在多大程度上缓解了长尾标签分布中的数据稀疏性问题？

主要发现

• GNN-XML 在 PSP@k（k=1,3,5）上显著优于最先进方法，尤其在通常被现有模型低估的尾部标签上表现更优。
• 模型实现了 75.8% 的聚类覆盖率，且每个聚类包含超过 100 个训练实例，表明通过语义感知聚类有效缓解了数据稀疏性。
• 消融实验确认，每个组件——双边分支学习、图同构和读出操作——均对性能提升有贡献，其中双边分支结构在尾部标签上的提升最为显著。
• 使用 BERT-base 作为标签表示相比 TF-IDF 表现更优，凸显了稠密上下文特征相较于稀疏词袋表示的重要性。
• 尽管训练时间与模型大小略有增加，GNN-XML 仍保持毫秒级的预测延迟，满足实时应用需求。
• 最优聚类数量约为 ⌊L/60⌋，性能在此值达到峰值，超过该值后仅获得微小提升。