[论文解读] Convolutional Neural Networks for Text Categorization: Shallow Word-level vs. Deep Character-level

Rie Johnson, Tong Zhang|arXiv (Cornell University)|Aug 31, 2016

Topic Modeling参考文献 6被引用 39

一句话总结

本文在 Conneau 等人（2016）用于深度字符级卷积神经网络（char-CNN）的八个大规模文本分类数据集上，评估了浅层词级卷积神经网络（word-CNN）的性能。尽管参数量更多且存储需求更高，word-CNN 在错误率上表现更优，且推理速度显著快于深层 char-CNN，证明在使用学习得到的 tv-embeddings 的词级表示时，word-CNN 在大规模训练数据上展现出更优的性能与效率。

ABSTRACT

This paper reports the performances of shallow word-level convolutional neural networks (CNN), our earlier work (2015), on the eight datasets with relatively large training data that were used for testing the very deep character-level CNN in Conneau et al. (2016). Our findings are as follows. The shallow word-level CNNs achieve better error rates than the error rates reported in Conneau et al., though the results should be interpreted with some consideration due to the unique pre-processing of Conneau et al. The shallow word-level CNN uses more parameters and therefore requires more storage than the deep character-level CNN; however, the shallow word-level CNN computes much faster.

研究动机与目标

• 评估浅层词级卷积神经网络在 Conneau 等人（2016）用于深层字符级卷积神经网络的八个大规模文本分类数据集上的性能。
• 将浅层 word-CNN 的错误率与 Conneau 等人（2016）报告的极深层 char-CNN 进行比较，填补直接对比的空白。
• 评估在文本分类任务中，词级与字符级卷积神经网络在模型大小、推理速度与准确率之间的权衡。
• 研究 tv-embeddings 的维度与数量对 word-CNN 性能及参数效率的影响。

提出的方法

• 本研究基于 Johnson & Zhang（2015）的架构实现浅层词级卷积神经网络，以词嵌入作为输入，应用带有 ReLU 激活函数的卷积层与最大池化操作。
• 模型引入 tv-embeddings——从无标签数据中学习得到——以增强特征表示，配置中使用 2、4 个或更多 100 或 300 维的 tv-embedding 向量。
• 输入序列以可变长度文档处理，无需固定长度填充，与 char-CNN 的 1014 字符截断与填充策略不同。
• 模型训练采用随机梯度下降，结合批量归一化与 ReLU 非线性激活，分类任务聚焦于最终全连接层。
• 在 Tesla M2070 GPU 上测量计算时间，不包括预处理时间，以比较 word-CNN 与 char-CNN 的推理速度。
• 错误率报告基于 Conneau 等人（2016）使用的相同测试集，实现与深层 char-CNN 结果的直接对比。

实验结果

研究问题

• RQ1 浅层词级卷积神经网络在与评估深层字符级卷积神经网络相同的八个大规模文本分类数据集上表现如何？
• RQ2 当在相同数据集上训练时，浅层 word-CNN 的错误率是否低于 Conneau 等人（2016）报告的极深层字符级卷积神经网络？
• RQ3 词级与字符级卷积神经网络在模型大小（参数量）与推理速度之间存在何种权衡？
• RQ4 tv-embeddings 的数量与维度如何影响 word-CNN 的性能与参数效率？
• RQ5 char-CNN 中的预处理策略（如固定长度填充）在多大程度上影响了结果的可比性？

主要发现

• 在 Yelp.f 测试集上，使用四个 100 维 tv-embeddings 的浅层 word-CNN 错误率为 32.39%，优于 Conneau 等人（2016）报告的深层 char-CNN 在同一数据集上的 35.28% 错误率。
• 在 Dbpedia 数据集上，浅层 word-CNN 达到 0.84% 的最低错误率，显著优于深层 char-CNN 在相同数据上的 3.05% 错误率。
• 尽管参数量达 1.84 亿（使用 300 维 tv-embeddings），word-CNN 在 Yelp.f 测试集上的计算耗时仅 72 秒，而深层 char-CNN 耗时 700 秒，展现出近 10 倍的推理速度优势。
• 将 tv-embeddings 维度从 300 降至 100，使参数量减半，错误率仅增加 0.2%（从 32.39% 上升至 32.55%），表明具有极高的参数效率。
• 在全部八个数据集上，浅层 word-CNN 均一致优于深层 char-CNN，错误率范围为 1.89%（Sogou）至 36.52%（Ama.f），全部低于对应 char-CNN 的结果。
• 性能差距归因于 word-CNN 能够利用语义词表示并实现高效的稀疏计算，而深层 char-CNN 的性能受限于其需处理更多文本单元及序列层依赖关系。