[论文解读] Few-Shot Text Classification with Pre-Trained Word Embeddings and a Human in the Loop

Katherine Bailey, Sunny Chopra|arXiv (Cornell University)|Apr 5, 2018

Topic Modeling参考文献 3被引用 6

一句话总结

本文提出了一种基于人工参与的少样本文本分类方法，利用预训练词嵌入和余弦相似度，仅需每类一个或两个人工标注样本，即可对整个文档批次进行分类。通过利用LDA进行主题推断，并结合TF-IDF加权平均词嵌入，该方法在小规模、类别区分明显的数据集上实现了高达97%的准确率，证明了其在低资源分类任务中的可行性。

ABSTRACT

Most of the literature around text classification treats it as a supervised learning problem: given a corpus of labeled documents, train a classifier such that it can accurately predict the classes of unseen documents. In industry, however, it is not uncommon for a business to have entire corpora of documents where few or none have been classified, or where existing classifications have become meaningless. With web content, for example, poor taxonomy management can result in labels being applied indiscriminately, making filtering by these labels unhelpful. Our work aims to make it possible to classify an entire corpus of unlabeled documents using a human-in-the-loop approach, where the content owner manually classifies just one or two documents per category and the rest can be automatically classified. This "few-shot" learning approach requires rich representations of the documents such that those that have been manually labeled can be treated as prototypes, and automatic classification of the rest is a simple case of measuring the distance to prototypes. This approach uses pre-trained word embeddings, where documents are represented using a simple weighted average of constituent word embeddings. We have tested the accuracy of the approach on existing labeled datasets and provide the results here. We have also made code available for reproducing the results we got on the 20 Newsgroups dataset.

研究动机与目标

• 为解决工业场景中大规模未标注文档语料库分类的挑战，这些场景中缺乏或仅有极少标签。
• 通过少样本学习和人工参与选择类别代表，实现仅需极少人工标注即可实现高精度的文本分类。
• 评估预训练词嵌入与基于LDA的主题建模在识别高质量类别原型方面的有效性，以支持少样本分类。
• 探索该方法在类别数量超过几个时的可扩展性与局限性。
• 未来工作将通过引导式或神经主题模型改进主题推断，以更好地支持原型选择。

提出的方法

• 使用TF-IDF对预训练词嵌入进行加权平均，以降低高频词的影响，对文档进行嵌入。
• 对每个批次应用潜在狄利克雷分布（LDA），识别每个类别的代表性文档，随后呈现给人工用户。
• 用户手动标注每个类别的一到两个文档，其嵌入向量取平均，形成类别原型向量。
• 未标注文档通过计算其嵌入与每个类别原型之间的余弦相似度进行分类，分配给最接近的类别。
• 系统对文档嵌入使用主成分分析（PCA），但实验表明其在准确率提升方面与简单平均相比效果甚微。
• 该方法在20 Newsgroups和DBPedia子集上进行评估，使用暴力测试方法确定小样本子集上的最大可实现准确率。

实验结果

研究问题

• RQ1 仅使用每类一个或两个人工标注样本，少样本文本分类系统能否实现高准确率？
• RQ2 LDA在识别可作为高质量类别原型的代表性文档方面效果如何？
• RQ3 在少样本场景下，使用预训练词嵌入结合TF-IDF加权与余弦相似度是否能获得具有竞争力的分类性能？
• RQ4 当数据集类别数量超过四到五个时，该方法存在哪些局限性？
• RQ5 未来工作能否通过引导式或神经主题模型改进主题推断步骤，以更好地支持原型选择？

主要发现

• 当选择最优类别代表时，该方法在DBPedia数据集的4类别子集上实现了最高97%的准确率。
• LDA在许多情况下有效识别出良好的代表性文档，但性能表现不一，有时未能清晰区分主题。
• 对文档嵌入使用PCA在分类准确率上与简单平均词嵌入相比几乎未带来提升。
• 该方法在2–3个类别且词使用能明显区分类别的数据集上表现最佳。
• 该方法在二分类任务（如立场检测）中展现出潜力，其中对立词汇反映了对某一主题的不同立场。
• 未来通过引导式LDA、高斯LDA或神经主题模型（如ProdLDA）改进主题推断，有望进一步提升性能。