[论文解读] Locally Non-linear Embeddings for Extreme Multi-label Learning

Kush Bhatia, Himanshu Jain+3 more|arXiv (Cornell University)|Jul 9, 2015

Text and Document Classification Technologies参考文献 29被引用 6

一句话总结

本文提出 X1，一种新型的极端多标签分类方法，通过学习多个局部保距嵌入来提升准确率与可扩展性，特别针对稀有（尾部）标签。与传统低秩嵌入方法不同，X1 避免了严格的低秩假设，在准确率上比当前最先进嵌入方法高出最多 35%，比基于树的方法高出 6%，同时可扩展至包含一百万标签的数据集，并实现比 LEML 快 300 倍的预测速度。

ABSTRACT

The objective in extreme multi-label learning is to train a classifier that can automatically tag a novel data point with the most relevant subset of labels from an extremely large label set. Embedding based approaches make training and prediction tractable by assuming that the training label matrix is low-rank and hence the effective number of labels can be reduced by projecting the high dimensional label vectors onto a low dimensional linear subspace. Still, leading embedding approaches have been unable to deliver high prediction accuracies or scale to large problems as the low rank assumption is violated in most real world applications. This paper develops the X-One classifier to address both limitations. The main technical contribution in X-One is a formulation for learning a small ensemble of local distance preserving embeddings which can accurately predict infrequently occurring (tail) labels. This allows X-One to break free of the traditional low-rank assumption and boost classification accuracy by learning embeddings which preserve pairwise distances between only the nearest label vectors. We conducted extensive experiments on several real-world as well as benchmark data sets and compared our method against state-of-the-art methods for extreme multi-label classification. Experiments reveal that X-One can make significantly more accurate predictions then the state-of-the-art methods including both embeddings (by as much as 35%) as well as trees (by as much as 6%). X-One can also scale efficiently to data sets with a million labels which are beyond the pale of leading embedding methods.

研究动机与目标

• 解决真实数据中因违反低秩假设而导致基于嵌入方法在稀有（尾部）标签上表现不佳的问题。
• 开发一种可扩展的方法，即使在标签空间极大（如数百万个标签）时也能保持高预测准确率。
• 通过结合局部嵌入与集成学习，克服极端多标签学习中准确率与效率之间的权衡。
• 通过将每一样本的预测时间减少至 10ms 以下，实现快速推理，接近 FastXML 等基于树的方法。
• 证明局部非线性嵌入在捕捉复杂标签关系方面优于全局线性嵌入，尤其在罕见标签上表现更优。

提出的方法

• 提出一种局部保距嵌入框架，学习多个小规模嵌入，每个嵌入专注于标签向量的一个局部邻域。
• 使用 k-means 聚类将标签空间划分为局部区域，然后为每个聚类单独学习一个保距嵌入，以保持邻近标签之间的成对距离。
• 通过共享的特征到嵌入映射训练此类局部嵌入的集成模型，其中每个学习器预测样本标签向量的嵌入表示。
• 利用解压缩矩阵从嵌入预测中重建原始标签空间，实现高效的多标签预测。
• 通过联合目标函数优化嵌入学习过程，既保留局部标签结构，又保持低维表示以实现可扩展性。
• 将局部嵌入的集成整合到最终预测流程中，通过跨聚类组合预测结果，提升对尾部标签的鲁棒性与准确率。

实验结果

研究问题

• RQ1 与全局低秩嵌入相比，局部非线性嵌入是否能显著提升极端多标签学习中稀有标签的预测准确率？
• RQ2 为每个数据点学习多个局部嵌入是否能带来比单一全局嵌入更好的泛化能力与可扩展性？
• RQ3 所提出的方法能否同时实现高准确率与快速推理，达到或超越 FastXML 等基于树的方法的预测速度？
• RQ4 当标签集合极大（如 100 万个标签）时，该方法是否仍能有效扩展，而现有嵌入方法因计算限制而失效？
• RQ5 性能提升是源于对局部标签结构的更好建模，还是主要归因于多个局部模型之间的集成平均？

主要发现

• 在 WikiLSHTC 和 Delicious-Large 等大规模数据集上，X1 的 P@1 准确率比 SOTA 嵌入方法 LEML 最高提升 35%。
• 在相同数据集上，X1 的 P@5 准确率相比 LEML 最高提升 22%，表明在多种评估指标下均具有一致性优势。
• X1 在 P@1 和 P@5 上比领先的基于树的方法 FastXML 提升 6%，表明局部嵌入可超越树集成模型的准确率。
• 在 WikiLSHTC 上，X1 将每测试样本的预测时间缩短至 8ms，比 LEML 的 279ms 快 300 倍，使其适用于实时应用。
• 即使单个 X1 学习器的性能也优于 10 个 LocalLEML 学习器的集成，表明 X1 的局部嵌入学习策略优于朴素的基于聚类的扩展方法。
• X1 在不同随机聚类初始化下的性能方差极低，证实了其在高维标签空间中的稳定性。