[论文解读] Neural Semi-supervised Learning for Text Classification Under Large-Scale Pretraining

Zijun Sun, Chun Chieh Fan+4 more|arXiv (Cornell University)|Nov 17, 2020

Topic Modeling参考文献 81被引用 10

一句话总结

本文研究了在大规模语言模型预训练背景下，文本分类中的半监督学习方法，提出在无标签数据 $U$ 上进行领域内预训练比开放领域预训练更为有效。实验证明，将领域内预训练与伪标签法结合可显著提升性能——在 IMDB 数据集上仅使用 50 个标注样本即达到 93.8% 的准确率，使用全部数据时达到 96.6%，为低资源文本分类提供了实用的解决方案。

ABSTRACT

The goal of semi-supervised learning is to utilize the unlabeled, in-domain dataset U to improve models trained on the labeled dataset D. Under the context of large-scale language-model (LM) pretraining, how we can make the best use of U is poorly understood: is semi-supervised learning still beneficial with the presence of large-scale pretraining? should U be used for in-domain LM pretraining or pseudo-label generation? how should the pseudo-label based semi-supervised model be actually implemented? how different semi-supervised strategies affect performances regarding D of different sizes, U of different sizes, etc. In this paper, we conduct comprehensive studies on semi-supervised learning in the task of text classification under the context of large-scale LM pretraining. Our studies shed important lights on the behavior of semi-supervised learning methods: (1) with the presence of in-domain pretraining LM on U, open-domain LM pretraining is unnecessary; (2) both the in-domain pretraining strategy and the pseudo-label based strategy introduce significant performance boosts, with the former performing better with larger U, the latter performing better with smaller U, and the combination leading to the largest performance boost; (3) self-training (pretraining first on pseudo labels D' and then fine-tuning on D) yields better performances when D is small, while joint training on the combination of pseudo labels D' and the original dataset D yields better performances when D is large. Using semi-supervised learning strategies, we are able to achieve a performance of around 93.8% accuracy with only 50 training data points on the IMDB dataset, and a competitive performance of 96.6% with the full IMDB dataset. Our work marks an initial step in understanding the behavior of semi-supervised learning models under the context of large-scale pretraining.

研究动机与目标

• 理解当大规模预训练已应用时，半监督学习是否仍具优势。
• 比较利用无标签领域内数据 $U$ 进行领域内预训练与生成伪标签的有效性。
• 根据数据集规模，确定最优实现策略（如自训练与联合训练）。
• 探究不同半监督策略在不同规模的标注数据 ($D$) 和无标签数据 ($U$) 下的表现差异。

提出的方法

• 在无标签领域内数据集 $U$ 上预训练语言模型，以提升领域适应性，替代或补充开放领域预训练。
• 使用在标注数据集 $D$ 上训练的教师模型为 $U$ 生成伪标签，形成扩展训练集 $D'$。
• 实施两种训练策略：(1) 自训练（在 $D'$ 上预训练，然后在 $D$ 上微调），(2) 联合训练（同时在 $D \cup D'$ 上训练）。
• 应用迭代伪标签法，即前一迭代的学生产生的模型作为下一迭代的教师模型，逐步提升标签置信度。
• 通过使用在 $U$ 上预训练的模型初始化教师模型，将领域内预训练与伪标签法结合。
• 以 IMDB 为基准，评估在 $D$（从 50 到 25k）和 $U$（最多 340 万条评论）不同规模下的性能表现。

实验结果

研究问题

• RQ1 当已进行大规模开放领域预训练时，半监督学习是否仍具优势？
• RQ2 无标签领域内数据 $U$ 应用于领域内预训练，还是用于伪标签生成更优？
• RQ3 不同训练策略（如自训练与联合训练）在不同规模的标注集 $D$ 下表现如何？
• RQ4 $D'$（伪标签数据集）和 $U$ 的规模如何影响模型性能？
• RQ5 迭代伪标签法对性能有何影响，尤其在 $D$ 较小时？

主要发现

• 在 $U$ 可用时，使用 $U$ 进行领域内预训练比开放领域预训练更有效，后者变得不再必要。
• 领域内预训练在 $U$ 较大时表现更优，而伪标签法在 $U$ 较小时更优，两者结合可达到最佳效果。
• 当 $D$ 较小时（如 50–100 个样本），自训练（先在 $D'$ 上预训练，再在 $D$ 上微调）优于联合训练；当 $D$ 较大时，联合训练表现更佳。
• 当 $|D| = 50$ 时，通过半监督学习可达到 93.8% 的准确率，展现出强大的低资源泛化能力。
• 在完整 IMDB 数据集（$|D| = 25k$）上，联合策略达到 96.6% 的准确率，表现出强劲的竞争力。
• 迭代伪标签法带来额外性能增益，尤其在小 $D$ 情况下，性能需经过多次迭代后才趋于稳定。