[论文解读] Delta-training: Simple Semi-Supervised Text Classification using Pretrained Word Embeddings

Hwiyeol Jo, Ceyda Cinarel|arXiv (Cornell University)|Jan 22, 2019

Topic Modeling被引用 5

一句话总结

Delta-training 提出了一种简单的半监督文本分类方法，通过利用两个集成模型之间的预测差异——一个使用随机初始化的词嵌入，另一个使用预训练词嵌入——来筛选有信息量的未标注数据。通过聚焦于预测不一致并应用早停策略，该方法在性能上优于自训练和协同训练，同时对错误累积具有鲁棒性，尤其在标注数据有限的情况下表现更优。

ABSTRACT

We propose a novel and simple method for semi-supervised text classification. The method stems from the hypothesis that a classifier with pretrained word embeddings always outperforms the same classifier with randomly initialized word embeddings, as empirically observed in NLP tasks. Our method first builds two sets of classifiers as a form of model ensemble, and then initializes their word embeddings differently: one using random, the other using pretrained word embeddings. We focus on different predictions between the two classifiers on unlabeled data while following the self-training framework. We also use early-stopping in meta-epoch to improve the performance of our method. Our method, Delta-training, outperforms the self-training and the co-training framework in 4 different text classification datasets, showing robustness against error accumulation.

研究动机与目标

• 解决在标注数据稀缺时文本分类性能受限的问题。
• 通过过滤不可靠的伪标签，减少自训练中常见的错误累积。
• 利用预训练词嵌入相对于随机初始化在提升模型泛化能力方面的持续优势。
• 开发一种简单而有效的方法，超越现有的半监督框架（如自训练和协同训练）。
• 通过一种新颖的基于不一致性的训练策略，在低资源场景下展示方法的鲁棒性。

提出的方法

• 该方法训练两个分类器集成：一个使用随机初始化的词嵌入（M_rand），另一个使用预训练词嵌入（M_emb），采用相同的网络架构。
• 在验证集上应用早停策略，以防止过拟合并选择在伪标签前最优的模型。
• 在未标注数据上，识别出 M_rand 和 M_emb 预测结果不同的样本，将其视为具有高信息量的伪标签候选。
• 仅将高置信度的不一致样本加入训练集，从而减少错误预测带来的噪声。
• 在元周期（meta-epoch）早停后，将所有带有伪标签的未标注数据加入训练集，尤其在多分类设置中效果显著。
• 该框架采用基于 CNN 的架构，包含多种卷积核大小（2–5），使用 ReLU 激活函数、最大池化操作，并采用 Adam 优化算法。

实验结果

研究问题

• RQ1 聚焦于使用随机嵌入和预训练嵌入的模型之间的预测不一致，是否能提升半监督文本分类性能？
• RQ2 与标准自训练和协同训练相比，Delta-training 是否能减少错误累积？
• RQ3 随着标注数据量减少，性能如何变化？Delta-training 在低资源场景下是否依然有效？
• RQ4 在不增加额外架构复杂度的前提下，元周期中的早停是否能增强模型稳定性并提升最终性能？
• RQ5 在多分类设置中，基于不一致性的策略是否仍能带来性能增益，还是由于两模型错误率升高而效果减弱？

主要发现

• Delta-training 在四个不同的文本分类数据集上均优于自训练和协同训练，尤其在二分类任务中表现更优。
• 该方法对错误累积具有鲁棒性，表现为在多个元周期中性能稳定或持续提升，而自训练和协同训练则出现性能下降。
• 在多分类任务中，Delta-training 通过在早停后添加所有带有伪标签的未标注数据，实现了显著的性能提升，即使基于不一致性的选择策略效果减弱。
• M_emb 错误预测但 M_rand 正确预测的样本比例始终很低，支持了预训练嵌入更可靠的假设。
• 当初始训练数据量较小时，性能显著提升，证明了该方法在低资源场景下的实用性。
• 元周期 0 的训练曲线证实，M_emb 始终优于 M_rand，验证了 Delta-training 核心假设的合理性。