[论文解读] PECOS: Prediction for Enormous and Correlated Output Spaces

Hsiang‐Fu Yu, Kai Zhong+3 more|arXiv (Cornell University)|Oct 12, 2020

Topic Modeling参考文献 26被引用 28

一句话总结

PECOS 是一个用于大规模相关输出空间中极端多标签排序的模块化机器学习框架，采用三阶段方法：语义索引、学习匹配和最终排序。它在 280 万个标签上实现了最先进精度（使用递归 Transformer 匹配器，precision@1 达 54.2%），尽管训练成本比线性匹配器高出约 100 倍，为实践者提供了性能与效率之间的权衡选择。

ABSTRACT

Many large-scale applications amount to finding relevant results from an enormous output space of potential candidates. For example, finding the best matching product from a large catalog or suggesting related search phrases on a search engine. The size of the output space for these problems can range from millions to billions, and can even be infinite in some applications. Moreover, training data is often limited for the long-tail items in the output space. Fortunately, items in the output space are often correlated thereby presenting an opportunity to alleviate the data sparsity issue. In this paper, we propose the Prediction for Enormous and Correlated Output Spaces (PECOS) framework, a versatile and modular machine learning framework for solving prediction problems for very large output spaces, and apply it to the eXtreme Multilabel Ranking (XMR) problem: given an input instance, find and rank the most relevant items from an enormous but fixed and finite output space. We propose a three phase framework for PECOS: (i) in the first phase, PECOS organizes the output space using a semantic indexing scheme, (ii) in the second phase, PECOS uses the indexing to narrow down the output space by orders of magnitude using a machine learned matching scheme, and (iii) in the third phase, PECOS ranks the matched items using a final ranking scheme. The versatility and modularity of PECOS allows for easy plug-and-play of various choices for the indexing, matching, and ranking phases. We also develop very fast inference procedures which allow us to perform XMR predictions in real time; for example, inference takes less than 1 millisecond per input on the dataset with 2.8 million labels. The PECOS software is available at https://libpecos.org.

研究动机与目标

• 解决极端多标签排序中的数据稀疏性问题，其中大多数标签的训练样本极少。
• 利用标签之间的语义相关性，提升长尾项目的学习泛化能力。
• 设计一个可扩展、模块化的框架，支持训练成本与预测精度之间的灵活权衡。
• 实现在最多包含 280 万个标签的数据集上的实时推理。
• 通过结构化建模，支持有限和潜在无限的输出空间。

提出的方法

• PECOS 使用三阶段流水线：(1) 语义索引将相关标签聚类分组，(2) 学习匹配模块识别相关聚类，(3) 最终排序模块对匹配聚类内的项目进行打分。
• 语义索引阶段通过嵌入表示对标签进行聚类，增加每个聚类的训练样本数量，从而缓解数据稀疏性。
• 匹配阶段采用递归机器学习：可选择线性匹配器或基于 Transformer 编码器的深度神经匹配器。
• 递归匹配器以分层方式处理输入和标签嵌入，提升效率与泛化能力。
• 框架支持即插即用的索引、匹配和排序组件，实现灵活配置。
• 推理经过高度优化，实现亚毫秒级预测时间（例如，在 280 万个标签的数据集上每输入 <1ms）。

实验结果

研究问题

• RQ1 语义索引与分层匹配能否缓解极端多标签排序中的数据稀疏性？
• RQ2 在大规模数据集上，递归线性匹配器与神经匹配器在准确率与训练成本方面如何比较？
• RQ3 PECOS 能否在包含数百万个标签的数据集上实现实时推理？
• RQ4 使用深度神经匹配器与线性匹配器时，模型准确率与训练时间之间的权衡如何？
• RQ5 PECOS 能否扩展以处理无限或生成式输出空间？

主要发现

• 在 Amazon-3M 数据集（280 万个标签）上，递归 Transformer 匹配器实现了 54.2% 的 precision@1，比线性匹配器的 48.6% 提高了 6 个百分点的绝对值。
• 递归 Transformer 匹配器的训练时间约为线性匹配器的 100 倍，凸显了性能与成本之间的权衡。
• 在 280 万个标签的数据集上，推理时间低于每输入 1 毫秒，证明了其实现实时推理能力。
• 在 Wiki-500K 数据集（501,000 个标签）上，通过聚类显著降低了数据稀疏性，使超过 99% 的聚类包含超过 100 个训练样本。
• XR-LINEAR 变体实现了高效率，训练成本低且推理速度快；而 XR-TRANSFORMER 在更高计算成本下实现了最先进精度。
• PECOS 软件已开源，可通过 https://libpecos.org 获取，以支持社区采纳与扩展。