[论文解读] How Large a Vocabulary Does Text Classification Need? A Variational Approach to Vocabulary Selection

Wenhu Chen, Yu Su+4 more|arXiv (Cornell University)|Feb 27, 2019

Topic Modeling参考文献 34被引用 4

一句话总结

本文提出变分词表正则化（VVD），一种任务感知方法，通过贝叶斯推断学习词级丢弃概率，实现文本分类中最小但最有效的词表选择。VVD 在新指标下优于基于频率和其他基线方法，实现显著压缩且准确率下降极小。

ABSTRACT

With the rapid development in deep learning, deep neural networks have been widely adopted in many real-life natural language applications. Under deep neural networks, a pre-defined vocabulary is required to vectorize text inputs. The canonical approach to select pre-defined vocabulary is based on the word frequency, where a threshold is selected to cut off the long tail distribution. However, we observed that such simple approach could easily lead to under-sized vocabulary or over-sized vocabulary issues. Therefore, we are interested in understanding how the end-task classification accuracy is related to the vocabulary size and what is the minimum required vocabulary size to achieve a specific performance. In this paper, we provide a more sophisticated variational vocabulary dropout (VVD) based on variational dropout to perform vocabulary selection, which can intelligently select the subset of the vocabulary to achieve the required performance. To evaluate different algorithms on the newly proposed vocabulary selection problem, we propose two new metrics: Area Under Accuracy-Vocab Curve and Vocab Size under X\% Accuracy Drop. Through extensive experiments on various NLP classification tasks, our variational framework is shown to significantly outperform the frequency-based and other selection baselines on these metrics.

研究动机与目标

• 解决文本分类中词表选择缺乏系统研究的问题，特别是其对模型性能和效率的影响。
• 识别基于频率的词表剪枝方法的局限性，该方法与任务无关且常次优。
• 开发一种任务感知的词表选择方法，动态识别并仅保留对分类任务最相关的词语。
• 提出新的评估指标，以系统比较不同性能与大小权衡下的词表选择策略。
• 通过引入自适应采样和两步剪枝，实现高效训练与评估，降低计算成本。

提出的方法

• 将词表选择形式化为贝叶斯推断问题，为词表 $\mathbb{V}$ 中每个词 $w$ 学习一个丢弃概率 $p_w$。
• 使用变分丢弃训练神经网络，其中每个词具有特定的丢弃率，$p_w$ 越低表示该词对任务越重要。
• 推理时，通过保留 $p_w$ 低于阈值的词来选择子词表 $\hat{\mathbb{V}}$，其余词视为零向量 $[0,\dots,0]$。
• 采用两步训练策略：首先通过频率截断剪枝稀有词，然后在缩减后的词表上应用 VVD 以加速收敛。
• 采用指数级采样词表大小（如 1, 2, 4, 8, 24, 56, ..., 60K），仅需 $O(\log|\mathbb{V}|)$ 次评估即可高效估计准确率-词表曲线。
• 使用预训练词嵌入（如 Word2Vec、GloVe）初始化词嵌入，但在 VVD 训练过程中重新训练完整的嵌入矩阵。

实验结果

研究问题

• RQ1 词表大小如何影响最终任务的分类准确率？达到目标性能所需的最小词表大小是多少？
• RQ2 与基于频率或 TF-IDF 的基线方法相比，任务感知的词表选择在准确率和压缩比方面表现如何？
• RQ3 变分贝叶斯框架能否有效学习词级重要性，并在无先验任务知识的情况下指导词表剪枝？
• RQ4 此类词表选择方法在训练与评估中的计算权衡是什么？如何缓解这些权衡？
• RQ5 所提出方法是否在不同 NLP 任务和神经网络架构（如 CNN、BiLSTM）及数据集上具有泛化能力？

主要发现

• VVD 在准确率-词表曲线面积和在 X% 准确率下降条件下的词表大小指标上，显著优于基于频率、TF-IDF 和结构 Lasso 的基线方法。
• 在 AG-news 数据集上，VVD 仅使用 2.7% 的词表大小（1,600 / 60K 个词）即达到全词表 97.6% 的准确率，而基于频率的基线需 4,000 个词。
• 所提出的两步训练方法显著减少了 VVD 的训练时间，使其在变分丢弃的随机性下仍具备实际部署可行性。
• 通过指数级采样词表大小，仅需 $O(\log|\mathbb{V}|)$ 次评估即可准确估计准确率-词表曲线，将评估时间从 $O(|\mathbb{V}|)$ 降低至可行规模。
• VVD 实现了更高的稀疏性和更好的压缩效果，同时保持或提升准确率，表明基于频率的剪枝在模型效率方面并非最优。
• 该方法在多种文本分类任务（如文档分类、NLI、对话 NLU）和架构（CNN、BiLSTM）中均表现有效，展现出广泛的适用性。