[论文解读] A Survey on Extreme Multi-label Learning

Tong Wei, Zhen Mao+3 more|arXiv (Cornell University)|Oct 8, 2022

Text and Document Classification Technologies被引用 7

一句话总结

本综述全面概述了极端多标签学习（XML），涵盖形式化定义、模型架构、长尾标签分布等挑战，以及关键方法类别。它评估了现有方法，整理了公开资源，并指出了未来研究方向，包括开放集学习、流式标签、缺失标签，以及与视觉和领域知识的融合。

ABSTRACT

Multi-label learning has attracted significant attention from both academic and industry field in recent decades. Although existing multi-label learning algorithms achieved good performance in various tasks, they implicitly assume the size of target label space is not huge, which can be restrictive for real-world scenarios. Moreover, it is infeasible to directly adapt them to extremely large label space because of the compute and memory overhead. Therefore, eXtreme Multi-label Learning (XML) is becoming an important task and many effective approaches are proposed. To fully understand XML, we conduct a survey study in this paper. We first clarify a formal definition for XML from the perspective of supervised learning. Then, based on different model architectures and challenges of the problem, we provide a thorough discussion of the advantages and disadvantages of each category of methods. For the benefit of conducting empirical studies, we collect abundant resources regarding XML, including code implementations, and useful tools. Lastly, we propose possible research directions in XML, such as new evaluation metrics, the tail label problem, and weakly supervised XML.

研究动机与目标

• 在监督学习框架内，形式化定义极端多标签学习（XML），以解决传统多标签学习在大规模场景下的局限性。
• 基于模型架构和特定问题挑战（如长尾标签分布和内存限制）对XML方法进行系统性分类与分析。
• 整理并公开共享可用资源，包括代码实现和工具，以支持XML的实证研究。
• 识别并讨论XML中的新兴研究方向，如开放集学习、流式标签、缺失标签，以及与计算机视觉和领域知识的融合。

提出的方法

• 将XML正式定义为一种监督学习任务，其中每个实例与一个极大规模标签空间（例如数百万个）中的多个标签相关联。
• 根据模型架构（如层次化、基于嵌入的方法、深度学习方法）对XML方法进行分类，并分析其优势与局限性。
• 提出使用五项评估属性对XML方法进行系统性比较：可扩展性、标签相关性建模、对长尾分布的处理能力、对缺失标签的支持能力，以及推理效率。
• 回顾标签相关性建模技术，包括成对排序、聚类和贝叶斯网络，并讨论其在XML场景下的可扩展性。
• 提出利用外部知识（如维基百科）来改进标签相关性建模，并缓解XML中的数据稀缺问题。
• 讨论将长尾图像识别中的技术（如类别平衡采样和logit调整）适配到XML中的方法，特别是在多模态设置中。

实验结果

研究问题

• RQ1 如何从规模和计算约束的角度，形式化定义极端多标签学习，并将其与传统多标签学习区分开来？
• RQ2 XML方法在架构和算法上的关键差异是什么？它们在可扩展性、标签相关性建模等关键评估属性上的表现如何？
• RQ3 XML模型如何有效处理长尾标签分布问题，即尾部标签代表性不足且性能较差的情况？
• RQ4 在开放集和流式标签场景中扩展XML面临哪些挑战与机遇，即推理过程中可能出现新标签或未见标签？
• RQ5 如何利用外部知识和多模态数据（如文本和图像）来提升XML性能，特别是在低数据场景下？

主要发现

• 没有一种XML方法能同时支持所有理想属性；可扩展性、标签相关性建模与长尾分布处理之间存在权衡。
• 显式建模标签相关性的方法（如使用贝叶斯网络或聚类）通常计算成本高，难以扩展到数百万个标签。
• 现有方法因数据稀缺而难以处理尾部标签，其在这些标签上的性能显著低于头部标签，凸显了更优类别平衡技术的必要性。
• 来自长尾图像识别的技巧（如类别平衡采样和logit调整）在XML中尚未被充分探索，但有望提升尾部标签的性能。
• 整合外部知识（如来自维基百科的知识）可增强标签相似性估计并提升泛化能力，尤其在数据稀缺场景下。
• MUFIN被识别为开创性工作，将XML原则应用于多模态学习，展示了将XML扩展至视觉-语言任务的潜力。