[论文解读] Extreme Classification via Adversarial Softmax Approximation

Robert Bamler, Stephan Mandt|ArXiv.org|Feb 15, 2020

Adversarial Robustness in Machine Learning参考文献 32被引用 7

一句话总结

本文提出对抗性负采样用于极端分类，利用一个学习得到的辅助模型生成信息量丰富的负样本，以降低梯度方差并加速训练。通过从模仿数据分布的模型中采样，该方法在保持高准确率的同时，相比基线模型实现高达10倍的收敛速度提升，且通过测试时的精确偏差校正实现性能一致性。

ABSTRACT

Training a classifier over a large number of classes, known as 'extreme classification', has become a topic of major interest with applications in technology, science, and e-commerce. Traditional softmax regression induces a gradient cost proportional to the number of classes $C$, which often is prohibitively expensive. A popular scalable softmax approximation relies on uniform negative sampling, which suffers from slow convergence due a poor signal-to-noise ratio. In this paper, we propose a simple training method for drastically enhancing the gradient signal by drawing negative samples from an adversarial model that mimics the data distribution. Our contributions are three-fold: (i) an adversarial sampling mechanism that produces negative samples at a cost only logarithmic in $C$, thus still resulting in cheap gradient updates; (ii) a mathematical proof that this adversarial sampling minimizes the gradient variance while any bias due to non-uniform sampling can be removed; (iii) experimental results on large scale data sets that show a reduction of the training time by an order of magnitude relative to several competitive baselines.

研究动机与目标

• 解决极端分类中软最大回归的高计算成本问题，其训练时间与类别数C呈线性关系。
• 改善负采样中的信噪比，该问题因均匀采样导致梯度质量差而受限。
• 设计一种可扩展的方法，以在C的对数时间内生成高质量负样本，实现快速训练。
• 设计一个辅助模型，学习从输入特征生成逼真且难以与真实标签区分的负样本。
• 提供一个数学框架，以量化并消除由非均匀采样引入的偏差，确保测试时性能的一致性。

提出的方法

• 提出一种广义负采样框架，其中负样本从条件分布p(y| x)中抽取，而非从均匀先验中抽取。
• 引入一个对抗性辅助模型，学习生成在给定输入特征下与真实标签统计上相似的负标签，以最小化梯度方差。
• 使用概率决策树作为辅助模型，实现O(log C)的高效采样，并可通过极少超参数调优进行预训练。
• 推导出梯度方差最小化的理论条件，证明当辅助模型完美匹配数据分布时达到最优。
• 在测试时引入偏差校正机制，精确消除由非均匀采样引入的近似误差。
• 将训练目标表述为完整软最大损失的随机近似，梯度更新仅基于少量对抗性负样本计算。

实验结果

研究问题

• RQ1 基于学习模型的非均匀负采样是否能改善极端分类中随机梯度的信噪比？
• RQ2 在软最大近似背景下，何种负样本分布能最小化梯度方差？
• RQ3 如何设计一个辅助模型，以在C的次线性成本下高效生成高质量负样本？
• RQ4 能否在不重新训练的前提下，精确量化并消除非均匀采样引入的偏差？
• RQ5 与均匀或频率基线相比，对抗性负采样是否能实现更快收敛和更好泛化？

主要发现

• 所提出的对抗性负采样方法在大规模数据集上相比多种竞争基线，将训练时间减少了整整一个数量级。
• 在Wikipedia-500K和Amazon-670K数据集上，该方法在预测对数似然和准确率方面均表现出显著更快的收敛速度。
• 尽管在其中一个数据集上的对数似然略低，但该方法在预测准确率上仍优于均匀和频率基负采样，原因在于其对顶级类别得分的排名更优。
• 基于概率决策树的辅助模型实现了O(log C)的采样效率，并可通过极少超参数调优实现高效预训练。
• 理论分析证明，当辅助模型完美模仿数据分布时，梯度方差最小化；且非均匀采样引入的偏差可在测试时被精确校正。
• 实证结果证实，该方法在大幅降低训练时间的同时保持了高测试准确率，展示了其在真实世界极端分类任务中的实际可扩展性。