[论文解读] DocTag2Vec: An Embedding Based Multi-label Learning Approach for Document Tagging

Sheng Chen, Akshay Soni+2 more|arXiv (Cornell University)|Jul 14, 2017

Text and Document Classification Technologies参考文献 28被引用 6

一句话总结

本文提出 DocTag2Vec，一种新颖的多标签学习方法，通过扩展 Doc2Vec，在共享向量空间中联合学习词、文档和标签的分布式表示。通过在学习到的标签嵌入上进行 k-近邻搜索，该方法在多个基准数据集上实现了最先进性能，优于 SLEEC 和 Doc2Vec 等现有方法，尤其在增量学习和动态标签处理场景中表现更优。

ABSTRACT

Tagging news articles or blog posts with relevant tags from a collection of predefined ones is coined as document tagging in this work. Accurate tagging of articles can benefit several downstream applications such as recommendation and search. In this work, we propose a novel yet simple approach called DocTag2Vec to accomplish this task. We substantially extend Word2Vec and Doc2Vec---two popular models for learning distributed representation of words and documents. In DocTag2Vec, we simultaneously learn the representation of words, documents, and tags in a joint vector space during training, and employ the simple $k$-nearest neighbor search to predict tags for unseen documents. In contrast to previous multi-label learning methods, DocTag2Vec directly deals with raw text instead of provided feature vector, and in addition, enjoys advantages like the learning of tag representation, and the ability of handling newly created tags. To demonstrate the effectiveness of our approach, we conduct experiments on several datasets and show promising results against state-of-the-art methods.

研究动机与目标

• 解决社交媒体和新闻平台中实时、增量式和动态文档标注的挑战。
• 通过直接处理原始文本进行多标签学习，消除对预提取特征向量的需求。
• 通过可学习的标签嵌入实现对新标签的动态处理，支持不断演变的标签集合。
• 通过捕捉文档与其关联标签之间的语义关系，提升标注准确性。
• 为下游 NLP 应用提供可重用且语义明确的标签向量表示。

提出的方法

• 扩展 Doc2Vec，以在共享嵌入空间中联合学习文档、词语和标签的稠密向量表示。
• 使用随机梯度下降（SGD）在原始文本及其关联标签上训练模型，优化文档与真实标签之间的语义相似性。
• 在学习到的标签嵌入上使用 k-近邻（k-NN）搜索，以预测未见文档的相关标签。
• 通过在不从头重新训练的情况下更新新文档和标签，支持增量训练。
• 为每个标签学习唯一的嵌入向量，使模型能够动态处理新创建的标签。
• 采用类似于 Word2Vec 和 Doc2Vec 的跳字架构，训练期间将标签视为额外的上下文标记。

实验结果

研究问题

• RQ1 能否通过同时联合学习文档、词语和标签表示的嵌入模型，在文档标注任务中超越传统多标签学习方法？
• RQ2 DocTag2Vec 在无需重新训练的情况下，对动态标签集合和新标签的处理能力有多强？
• RQ3 在不同数据集和评估指标下，DocTag2Vec 的性能与 SLEEC 和 Doc2Vec 等最先进方法相比如何？
• RQ4 在标签嵌入上使用 k-NN 是否能带来更好的泛化能力与更高的精确率？
• RQ5 学习到的标签嵌入是否能提升训练数据之外的标注质量，特别是在人工判断不理想的情况下？

主要发现

• 在 Wiki10 数据集上，DocTag2Vec 的精确率与 SLEEC 相当，且显著优于基线的 Doc2Vec，尤其在 k 值增大时表现更优。
• 在 WikiNER 数据集上，DocTag2Vec 在 k>1 时的 precision@k 达到或超过 SLEEC，表现出强大的泛化能力。
• 在 RM 数据集上，由于训练数据有限，SLEEC 表现优于 DocTag2Vec，但 DocTag2Vec 仍展现出具有竞争力的结果，并具备更好的可扩展性和增量学习支持。
• 在 NCT 数据集上对 DocTag2Vec 进行增量训练可保持高性能，其精确率持续优于 Doc2Vec，且与 SLEEC 保持竞争力。
• DocTag2Vec 的整体召回率略高于 SLEEC，表明其在覆盖相关标签方面表现更优。
• 案例研究显示，在多个实例中，DocTag2Vec 预测的标签比人工判断更相关，例如正确识别出 NBA 新闻应归类为 /Sports & Recreation/Basketball 而非错误的 /Baseball/ 标签。