[论文解读] Generative and Discriminative Text Classification with Recurrent Neural Networks
本文比较了生成式与判别式的基于LSTM的文本分类器，结果显示判别式模型在渐近误差方面更低，但生成式模型在数据量较少时学习更快，并且在持续学习与零样本学习设置中对分布转移更具鲁棒性。
We empirically characterize the performance of discriminative and generative LSTM models for text classification. We find that although RNN-based generative models are more powerful than their bag-of-words ancestors (e.g., they account for conditional dependencies across words in a document), they have higher asymptotic error rates than discriminatively trained RNN models. However we also find that generative models approach their asymptotic error rate more rapidly than their discriminative counterparts---the same pattern that Ng & Jordan (2001) proved holds for linear classification models that make more naive conditional independence assumptions. Building on this finding, we hypothesize that RNN-based generative classification models will be more robust to shifts in the data distribution. This hypothesis is confirmed in a series of experiments in zero-shot and continual learning settings that show that generative models substantially outperform discriminative models.
研究动机与目标
- 评估判别式与生成式LSTM模型在文本分类任务上的性能。
- 确定模型类型之间的渐近误差和样本复杂度差异。
- 通过持续学习和零样本学习实验评估对分布转移的鲁棒性。
提出的方法
- 实现带窥孔连接的判别式LSTM，并使用平均隐藏状态池化进行文档表示。
- 将生成式模型开发为基于类别的语言模型，使用共享和独立的LSTM来计算p(x|y)与p(y)。
- 在预测时使用贝叶斯规则，训练判别式模型以最大化p(y|x)，生成式模型以最大化p(x|y)p(y)。
- 在生成式模型的Shared LSTM变体中，跨类别共享词嵌入和LSTM参数。
- 与基线方法对比，包括朴素贝叶斯、Kneser–Ney以及NB神经网络，涵盖六个数据集。
- 在无标签数据上预训练共享组件并对生成式Shared LSTM的类别嵌入进行微调。
实验结果
研究问题
- RQ1判别式LSTM在文本分类中是否实现比生成式LSTM更低的渐近误差？
- RQ2在小数据情形下，生成式LSTM是否表现出更快的学习速度和更好的泛化能力？
- RQ3在持续学习和零样本学习设置中，生成式模型是否对数据分布转移更具鲁棒性？
主要发现
- 判别式LSTM在渐近准确率上高于生成式LSTM，与Ng & Jordan (2001) 对线性模型的结果一致。
- 生成式LSTMs在数据有限情形下更快达到渐近误差，并且在具有更强独立性假设的基线生成式模型上表现更好。
- 在持续学习中，生成式模型更好地处理按序引入的类别并缓解灾难性遗忘。
- 在零样本学习中，使用固定标签嵌入的生成式LSTM在未见类别上表现出显著的准确率和召回率，在使用自学习时在若干情景中优于判别式模型。
- 在无标签数据上预训练的生成式共享LSTM接近独立训练的生成式模型的性能，同时对新类别的适应速度更快。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。