[论文解读] hyperdoc2vec: Distributed Representations of Hypertext Documents

Jialong Han, Yan Song+3 more|arXiv (Cornell University)|May 10, 2018

Topic Modeling被引用 6

一句话总结

本文提出 hyperdoc2vec，一种通过同时建模内容和超链接结构的双向向量表示方法，用于学习超文本文档的分布式表示。该方法通过显式保留内容意识、上下文意识、新人友好性以及上下文意图意识，在论文分类和引用推荐任务中优于现有方法，实证结果表明其在学术论文数据集上表现更优。

ABSTRACT

Hypertext documents, such as web pages and academic papers, are of great importance in delivering information in our daily life. Although being effective on plain documents, conventional text embedding methods suffer from information loss if directly adapted to hyper-documents. In this paper, we propose a general embedding approach for hyper-documents, namely, hyperdoc2vec, along with four criteria characterizing necessary information that hyper-document embedding models should preserve. Systematic comparisons are conducted between hyperdoc2vec and several competitors on two tasks, i.e., paper classification and citation recommendation, in the academic paper domain. Analyses and experiments both validate the superiority of hyperdoc2vec to other models w.r.t. the four criteria.

研究动机与目标

• 识别超文档嵌入模型为实现有效表示应保留的关键属性。
• 解决现有方法将超链接简化为纯文本或任务特定的局限性。
• 开发一种通用的、与任务无关的嵌入方法，无信息损失地保留超链接语义。
• 在真实世界学术论文数据集上，通过分类和引用推荐任务评估所提出模型。
• 验证满足四项关键标准（内容意识、上下文意识、新人友好性、上下文意图意识）可带来性能提升。

提出的方法

• hyperdoc2vec 为每个超文档分配两个独立向量：一个表示其作为引用文档的角色（外向引用），另一个表示其作为被引用文档的角色（内向引用）。
• 该模型采用改进的 skip-gram 架构，其中上下文由文档内容及其超链接连接共同定义。
• 通过在文本和引用图上联合训练，同时优化内容信号与结构信号，保留引用上下文的意图。
• 通过利用学习到的向量表示，无需微调即可实现新文档的零样本推理（新人友好性）。
• 采用负采样和层次化 Softmax，实现对大规模学术论文网络的高效扩展。
• 模型在学术论文数据集上端到端训练，向量初始化自预训练词嵌入。

实验结果

研究问题

• RQ1 超文档嵌入模型应保留哪些关键信息才能有效？
• RQ2 能否设计一种通用嵌入方法，在无需任务特定调整的情况下满足所有关键标准？
• RQ3 显式建模引用角色（引用者 vs. 被引用者）在多大程度上提升了表示质量？
• RQ4 上下文意图意识在引用推荐任务中的下游性能提升中起到多大作用？
• RQ5 统一嵌入模型是否能在分类和推荐任务中均优于任务特定或降维处理的方法？

主要发现

• 在论文分类任务中，hyperdoc2vec 超越基线模型（包括 w2v、d2v-cac 和 pv-dm），在 DBLP 数据集上实现 F1 分数 3.2% 的绝对提升。
• 在引用推荐任务中，hyperdoc2vec 在最频繁的引用功能类别上达到 Rec@10 得分为 0.48，领先于次优模型 5.1 个百分点。
• 该模型展现出强大的上下文意图意识：在 PBas（使用工具/算法）引用功能中，其在前 5 名结果中正确推荐了相关论文，而 w2v 和 d2v-cac 因词重叠错误推荐了不相关的机器翻译论文。
• 受控实验表明，四项标准——内容意识、上下文意识、新人友好性、上下文意图意识——均对性能提升有贡献。
• 尽管是端到端且无监督训练，hyperdoc2vec 在引用功能分类任务上的表现（F1 = 0.62）已接近 Teufel 等人（2006）的 SOTA 特征工程模型。
• 消融实验表明，若移除双向向量设计或结构信号，Rec@10 将下降 4.8%，证实了两个组件的重要性。