[论文解读] Candidates vs. Noises Estimation for Large Multi-Class Classification Problem

Lei Han, Yiheng Huang+1 more|arXiv (Cornell University)|Nov 2, 2017

Natural Language Processing Techniques被引用 4

一句话总结

本文提出候选类与噪声估计（CANE），一种用于大规模多分类的方法，通过选择少量候选类别并将其余类别作为噪声处理，实现低统计方差的一致性估计，并具有每样本 O(1) 的计算复杂度。CANE 在图像分类和神经语言建模任务中，相较于 NCE 及其变体和最先进树分类器，在准确率和速度方面均表现更优。

ABSTRACT

This paper proposes a method for multi-class classification problems, where the number of classes K is large. The method, referred to as Candidates vs. Noises Estimation (CANE), selects a small subset of candidate classes and samples the remaining classes. We show that CANE is always consistent and computationally efficient. Moreover, the resulting estimator has low statistical variance approaching that of the maximum likelihood estimator, when the observed label belongs to the selected candidates with high probability. In practice, we use a tree structure with leaves as classes to promote fast beam search for candidate selection. We further apply the CANE method to estimate word probabilities in learning large neural language models. Extensive experimental results show that CANE achieves better prediction accuracy over the Noise-Contrastive Estimation (NCE), its variants and a number of the state-of-the-art tree classifiers, while it gains significant speedup compared to standard O(K) methods.

研究动机与目标

• 解决在具有 K 个类别（如数十万至百万级）的大规模多分类问题中，标准 Softmax 逻辑回归计算不可行的问题。
• 在现有基于采样的方法（如噪声对比估计 NCE）的基础上，提升统计效率，后者将所有非目标类别统一视为噪声。
• 开发一种一致且低方差的估计器，当真实类别极大概率位于所选候选集中时，仍能保持高准确率。
• 通过候选选择与噪声采样，将计算与完整类别数 K 解耦，实现快速训练与预测。
• 将 CANE 集成至神经语言建模中，以高效估计词概率，同时保持模型性能。

提出的方法

• 提出 CANE 作为一种通用框架，为每个输入选择一个小型自适应候选类别子集，并将剩余类别视为噪声。
• 使用以类别为叶节点的树状结构表示，支持快速束搜索候选选择，降低搜索成本。
• 将估计目标表述为候选类别与采样噪声类别之间的对比学习问题，避免对 K 个类别进行完整归一化。
• 通过确保真实类别在候选集中具有高概率覆盖，实现一致性与低统计方差，逼近最大似然估计（MLE）性能。
• 实现一种与 K 无关的随机梯度下降（SGD）过程，支持高效训练。
• 在使用学习嵌入的 LSTM 的神经语言建模中应用 CANE，候选词通过基于树的束搜索选择，噪声词从幂次提升的单频分布中采样。

实验结果

研究问题

• RQ1 基于候选的采样策略是否能在大规模多分类中实现一致估计与低统计方差？
• RQ2 CANE 在预测准确率与训练速度方面相较于 NCE 及其变体表现如何？
• RQ3 候选集对真实类别的覆盖程度在多大程度上影响估计器的方差与收敛性？
• RQ4 CANE 是否能与树结构模型有效结合，在不损失准确率的前提下加速候选选择？
• RQ5 CANE 在神经语言建模任务中是否优于最先进树分类器与采样方法？

主要发现

• 在 Penn TreeBank 和 Gutenberg 数据集上，CANE 的收敛速度更快，测试困惑度低于 NCE 与 BlackOut，且困惑度接近全 Softmax 结果。
• 在 Penn TreeBank 数据集上，CANE 使用 80 个候选类别时，测试困惑度为 102.5，优于 NCE（105.8）与 BlackOut（106.1），在相同设置下表现更优。
• 在 Gutenberg 数据集上，CANE 将训练时间缩短至约 5 小时（NCE 需 6–8 小时，全 Softmax 需 35 小时），同时保持了具有竞争力的困惑度。
• 在 ALOI 与 ImgNet-10K 数据集上，选择 9 个候选类别时，真实标签被包含在候选集中的概率超过 97%，表明覆盖度极高。
• 在 ImageNet-10K 上，CANE 达到 21.9% 的 top-1 准确率，超过 NCE 与 BlackOut，也优于部分 O(K) 方法，但低于最先进结果 28.4%。
• 由于候选集规模减小，CANE 的预测时间显著快于 NCE 与 BlackOut，尽管束搜索导致单样本处理略慢。