[论文解读] Adversarial Extreme Multi-label Classification

Rohit Babbar, Bernhard Schoelkopf|arXiv (Cornell University)|Mar 5, 2018

Machine Learning and Algorithms参考文献 29被引用 12

一句话总结

本文通过将标签分布偏移建模为对抗性扰动，提出了一种针对极端多标签分类（XMC）的鲁棒优化框架，从而得到一个等价的1-范数正则化目标函数，结合汉明损失（Hamming loss）。该方法在precision@k和nDCG@k指标上相较PFastreXML最高提升20%，相较SLEEC最高提升60%，优于当前最先进方法，且无需辅助分类器或倾向性估计。

ABSTRACT

The goal in extreme multi-label classification is to learn a classifier which can assign a small subset of relevant labels to an instance from an extremely large set of target labels. Datasets in extreme classification exhibit a long tail of labels which have small number of positive training instances. In this work, we pose the learning task in extreme classification with large number of tail-labels as learning in the presence of adversarial perturbations. This view motivates a robust optimization framework and equivalence to a corresponding regularized objective. Under the proposed robustness framework, we demonstrate efficacy of Hamming loss for tail-label detection in extreme classification. The equivalent regularized objective, in combination with proximal gradient based optimization, performs better than state-of-the-art methods on propensity scored versions of precision@k and nDCG@k(upto 20% relative improvement over PFastreXML - a leading tree-based approach and 60% relative improvement over SLEEC - a leading label-embedding approach). Furthermore, we also highlight the sub-optimality of a sparse solver in a widely used package for large-scale linear classification, which is interesting in its own right. We also investigate the spectral properties of label graphs for providing novel insights towards understanding the conditions governing the performance of Hamming loss based one-vs-rest scheme vis-à-vis label embedding methods.

研究动机与目标

• 为解决极端多标签分类（XMC）中尾部标签检测性能差的问题，其中大多数标签在训练集中仅有少量正样本。
• 将具有长尾标签分布的XMC重新建模为在对抗性扰动下的鲁棒优化问题。
• 证明通过对抗性鲁棒性正则化的汉明损失在尾部标签检测中具有高度有效性。
• 为一 vs 余（one-vs-rest）方法为何在XMC中优于标签嵌入方法提供理论与实证洞察。
• 识别并修正广泛使用的大规模线性分类求解器中的次优行为，尤其在稀疏优化方面。

提出的方法

• 通过将训练集与测试集之间的特征分布偏移建模为l∞-范数下的对抗性扰动，将XMC表述为鲁棒优化问题。
• 通过对偶性推导出等价的1-范数正则化目标函数，建立对抗性鲁棒性与L1正则化的联系。
• 设计一种分布式前向-后向近端梯度算法，以高效优化带有汉明损失的正则化目标。
• 利用对抗性鲁棒性与L1正则化的等价性，提升对低频尾部标签的泛化能力。
• 实现一种可扩展的单超参数方法，避免使用辅助重排序器或倾向性评分。

实验结果

研究问题

• RQ1 能否利用对抗性鲁棒性来提升极端多标签分类中的尾部标签检测性能？
• RQ2 为何通过L1正则化正则化的汉明损失在XMC中优于最先进的树形结构与标签嵌入方法？
• RQ3 影响一 vs 余方法与标签嵌入方法性能差异的标签图谱的谱特性与结构特性是什么？
• RQ4 所提出的鲁棒优化框架在泛化能力与模型效率方面相较于现有方法表现如何？
• RQ5 为何广泛使用的大型线性分类包中的稀疏求解器在XMC中表现次优？

主要发现

• 该方法在nDCG@k和precision@k指标上相较PFastreXML最高提升20%，相较SLEEC最高提升60%。
• 通过对抗性鲁棒性正则化的汉明损失在尾部标签检测中极为有效，与先前认为其不适用于此类任务的假设相矛盾。
• 该方法在无需独立的Rocchio重排序器的情况下超越PFastreXML，消除了关键依赖与复杂性。
• 模型尺寸显著更小——WikiLSHTC-325K数据集下约为3GB，相较PFastreXML的30GB，可实现更快速的实时推理。
• 本研究识别并修正了广泛使用的稀疏线性求解器中的次优行为，揭示其在大规模XMC场景下的低效性。
• 标签图谱的谱分析揭示了一 vs 余方法优于标签嵌入方法的结构条件。