[论文解读] Citation Recommendations Considering Content and Structural Context Embedding

Yang Zhang, Qiang Ma|arXiv (Cornell University)|Jan 8, 2020

Topic Modeling参考文献 19被引用 4

一句话总结

本文提出 DocCit2Vec，一种新颖的文档嵌入模型，通过整合内容上下文、局部上下文和结构上下文（即手稿中所有现有引用）来增强引用推荐。该模型在基线模型中表现更优，尤其是 DocCit2Vec-avg 在 DBLP 数据集上实现了 12–15% 的更高召回率，表明结构上下文显著提升了学术写作场景中推荐的相关性和覆盖范围。

ABSTRACT

The number of academic papers being published is increasing exponentially in recent years, and recommending adequate citations to assist researchers in writing papers is a non-trivial task. Conventional approaches may not be optimal, as the recommended papers may already be known to the users, or be solely relevant to the surrounding context but not other ideas discussed in the manuscript. In this work, we propose a novel embedding algorithm DocCit2Vec, along with the new concept of ``structural context'', to tackle the aforementioned issues. The proposed approach demonstrates superior performances to baseline models in extensive experiments designed to simulate practical usage scenarios.

研究动机与目标

• 解决传统引用推荐系统仅依赖关键词匹配或局部上下文所带来的局限性，这些方法常推荐已知或冗余的论文。
• 通过引入结构上下文（即文档中所有现有引用的集合）来克服推荐已在手稿中被引用的论文的问题。
• 通过利用共引用模式（即频繁共同被引用的论文更可能与新引用相关）来提升推荐质量。
• 开发一个统一的嵌入模型，以保留内容、局部上下文和结构上下文，支持引用推荐和下游分类任务。
• 在多种场景下评估模型的有效性，包括完整手稿上下文、部分上下文以及真实世界的引用推荐任务。

提出的方法

• 提出“结构上下文”概念，即手稿中所有先前引用的论文集合，通过建模引用共现模式来避免冗余。
• 提出 DocCit2Vec，一种双架构神经网络模型：一个使用平均池化层（DocCit2Vec-avg），另一个使用注意力机制（DocCit2Vec-att），以聚合来自内容、局部上下文和结构上下文的嵌入。
• 使用对比学习目标进行模型训练，以保留相关引用上下文与其目标论文之间的语义相似性。
• 将词级嵌入（如 Word2Vec）和文档级表示（如 Doc2Vec）整合到统一框架中，联合编码内容与引用结构。
• 使用基于超图方法的文档 IN 和 OUT 向量来表示传入和传出的引用关系，增强结构感知能力。
• 将学习到的密集向量应用于下游任务：引用推荐（链接预测）和文档分类（主题和引用功能分类）。

实验结果

研究问题

• RQ1 与仅使用局部或内容上下文的模型相比，将结构上下文（即手稿中所有现有引用）纳入是否能提升引用推荐性能？
• RQ2 在聚合多源上下文（内容、局部、结构）用于引用推荐时，注意力机制与平均池化相比表现如何？
• RQ3 结构上下文的引入在多大程度上减少了对已引用或冗余论文的推荐？
• RQ4 所提出的 DocCit2Vec 模型在不同数据集和引用推荐场景（包括完整和部分手稿上下文）中是否具有良好的泛化能力？
• RQ5 DocCit2Vec 学习到的文档嵌入是否能有效支持下游分类任务，如主题标注和引用功能分类？

主要发现

• 在 DBLP 数据集上，DocCit2Vec-avg 在所有推荐场景中均比第二好的模型 HyperDoc2Vec 实现了 12–15% 的更高召回率。
• 在 DBLP 数据集上，与 HyperDoc2Vec 相比，DocCit2Vec-avg 在 MAP 上提升了 4–7%，在 nDCG 上提升了 6–11%，表明其在排序质量上具有持续优势。
• DocCit2Vec-att 在主题分类中取得了最高的 F1-macro（78.43）和 F1-micro（83.80）得分，比 HyperDoc2Vec 提升约 3–4%。
• 基于注意力的变体（DocCit2Vec-att）在文档级分类中表现优异，但在词级分类中表现较差，表明其优势在于捕捉文档级语义。
• DocCit2Vec-avg 在分类任务中表现较差，可能是因为其通过平均方式聚焦于文档相似性，与捕捉区分性特征的需求相冲突。
• 结果证实，结构上下文被有效编码进 DocCit2Vec-avg 的嵌入中，因为即使在结构上下文部分被遮蔽的情况下，性能仍保持较高水平，表明其对上下文稀疏性具有鲁棒性。