[论文解读] A Modular Deep Learning Approach for Extreme Multi-label Text Classification.

Wei-Cheng Chang, Hsiang‐Fu Yu+3 more|arXiv (Cornell University)|May 7, 2019

Text and Document Classification Technologies被引用 10

一句话总结

本文提出 SLINMER，一种用于极端多标签文本分类的模块化深度学习框架，将任务分解为三个阶段：语义标签索引、神经匹配和高效排序。通过支持灵活的标签表示和模型集成，SLINMER 实现了最先进性能，在包含 500,000 个标签的 Wiki 数据集上，将 precision@1 从 61% 提升至 67%。

ABSTRACT

Extreme multi-label classification (XMC) aims to assign to an instance the most relevant subset of labels from a colossal label set. Due to modern applications that lead to massive label sets, the scalability of XMC has attracted much recent attention from both academia and industry. In this paper, we establish a three-stage framework to solve XMC efficiently, which includes 1) indexing the labels, 2) matching the instance to the relevant indices, and 3) ranking the labels from the relevant indices. This framework unifies many existing XMC approaches. Based on this framework, we propose a modular deep learning approach SLINMER: Semantic Label Indexing, Neural Matching, and Efficient Ranking. The label indexing stage of SLINMER can adopt different semantic label representations leading to different configurations of SLINMER. Empirically, we demonstrate that several individual configurations of SLINMER achieve superior performance than the state-of-the-art XMC approaches on several benchmark datasets. Moreover, by ensembling those configurations, SLINMER can achieve even better results. In particular, on a Wiki dataset with around 0.5 millions of labels, the precision@1 is increased from 61% to 67%.

研究动机与目标

• 解决现代应用中大规模标签集合下极端多标签分类（XMC）的可扩展性挑战。
• 通过三阶段框架（标签索引、实例匹配和标签排序）统一多种 XMC 方法。
• 开发一种模块化深度学习架构 SLINMER，支持灵活的语义标签表示和高效推理。
• 在基准 XMC 数据集上实证验证 SLINMER 相较于最先进方法的优越性。

提出的方法

• 该框架将 XMC 分解为三个阶段：使用语义表示对标签进行索引，将输入实例与相关标签索引匹配，以及从匹配的索引集中对标签进行排序。
• SLINMER 采用神经匹配模块，通过深度学习学习实例与标签的相关性，实现准确且高效的检索。
• 标签索引模块化，支持多种语义表示，允许 SLINMER 的不同配置。
• 排序阶段使用高效的打分机制，从匹配的索引集合中优先筛选出相关标签。
• 通过集成多个 SLINMER 配置，结合不同的标签表示和匹配策略，进一步提升性能。
• 该框架设计具有可扩展性，支持集成新的嵌入方法和排序模型。

实验结果

研究问题

• RQ1 模块化深度学习框架能否提升极端多标签文本分类的可扩展性和准确性？
• RQ2 将标签索引、匹配和排序阶段分离，如何增强模型性能和灵活性？
• RQ3 在 SLINMER 框架中，不同语义标签表示对 XMC 性能有何影响？
• RQ4 在大规模数据集上，集成多个 SLINMER 配置能在多大程度上进一步提升性能？
• RQ5 在包含数百万个标签的基准数据集上，SLINMER 与最先进 XMC 方法相比表现如何？

主要发现

• SLINMER 的多个独立配置在基准数据集上已超越现有最先进 XMC 方法。
• 集成多个 SLINMER 配置的性能优于任一单一配置。
• 在约 500,000 个标签的 Wiki 数据集上，SLINMER 将 precision@1 从 61% 提升至 67%。
• 模块化设计允许灵活集成多种语义标签表示，而无需重新训练整个模型。
• 三阶段框架有效统一并泛化了多种现有 XMC 方法。