[论文解读] Multi-label Dataless Text Classification with Topic Modeling

Daochen Zha, Chenliang Li|arXiv (Cornell University)|Nov 5, 2017

Text and Document Classification Technologies被引用 3

一句话总结

本文提出SMTM，一种基于种子词的多标签主题模型，用于无标注数据的文本分类。该方法仅需每类少量种子词即可对文档进行分类，无需任何标注训练数据。通过使用spline-and-slab和弱平滑先验建模类别稀疏性，并采用种子词引导的偏差GPU采样过程，SMTM在多标签分类任务中达到最先进性能，甚至在某些场景下优于部分有监督方法。

ABSTRACT

Manually labeling documents is tedious and expensive, but it is essential for training a traditional text classifier. In recent years, a few dataless text classification techniques have been proposed to address this problem. However, existing works mainly center on single-label classification problems, that is, each document is restricted to belonging to a single category. In this paper, we propose a novel Seed-guided Multi-label Topic Model, named SMTM. With a few seed words relevant to each category, SMTM conducts multi-label classification for a collection of documents without any labeled document. In SMTM, each category is associated with a single category-topic which covers the meaning of the category. To accommodate with multi-labeled documents, we explicitly model the category sparsity in SMTM by using spike and slab prior and weak smoothing prior. That is, without using any threshold tuning, SMTM automatically selects the relevant categories for each document. To incorporate the supervision of the seed words, we propose a seed-guided biased GPU (i.e., generalized Polya urn) sampling procedure to guide the topic inference of SMTM. Experiments on two public datasets show that SMTM achieves better classification accuracy than state-of-the-art alternatives and even outperforms supervised solutions in some scenarios.

研究动机与目标

• 解决大规模多标签训练数据集构建的高成本与高复杂性问题。
• 将无标注数据文本分类从单标签扩展到多标签设置，使文档可属于多个类别。
• 开发一种方法，自动识别每篇文档的相关类别，无需阈值调优或标注样本。
• 通过建模词共现模式与类别-主题关系，有效利用有限的种子词。
• 在低数据或低质量数据场景下，实现与有监督基线方法相当或更优的性能。

提出的方法

• SMTM将每个类别建模为一个类别主题，以捕捉类别的语义含义。
• 采用spline-and-slab先验以实现类别稀疏性，使每篇文档能以概率方式仅关联部分类别。
• 应用弱平滑先验以处理无显式种子词的文档，提升对种子词覆盖不全的鲁棒性。
• 引入种子词引导的偏差广义Pólya瓮（GPU）采样过程，通过促进共现词与相关类别主题来引导主题推断。
• 利用语料中词共现统计信息，推断超出初始种子词的相关词汇。
• 使用基于Gibbs采样的算法进行推断，整合种子词监督与类别稀疏性约束。

实验结果

研究问题

• RQ1 无标注数据的文本分类能否有效扩展到多标签设置，即文档可属于多个类别？
• RQ2 在无标注数据下，如何在不依赖阈值调优的情况下建模类别稀疏性？
• RQ3 能否有效利用少量种子词来引导多标签分类中的主题推断与标签分配？
• RQ4 在标注数据稀缺或质量差的情况下，无标注多标签分类器的性能与有监督基线相比如何？
• RQ5 模型能否通过共现模式发现初始种子词之外的相关词汇？

主要发现

• 在两个公开的多标签数据集上，SMTM的分类准确率优于最先进无标注基线方法。
• 在某些场景下，SMTM甚至优于有监督学习方法，尤其在标注数据有限或质量较差时。
• 即使文档中未出现任何种子词，模型仍能通过利用词共现模式成功识别相关类别。
• spline-and-slab先验实现了无需阈值调优的自动且概率化的类别选择。
• 种子词引导的偏差GPU采样过程有效促进了相关类别主题与词汇，提升了推断准确性。
• SMTM在处理无种子词的文档时表现出鲁棒性，如在Delicious数据集中，即使缺少种子词也能正确分配类别。