[论文解读] Longitudinal Citation Prediction using Temporal Graph Neural Networks

Andreas Nugaard Holm, Barbara Plank+2 more|VBN Forskningsportal (Aalborg Universitet)|Dec 10, 2020

Advanced Graph Neural Networks参考文献 27被引用 7

一句话总结

本文将纵向引文预测视为序列任务，采用GCN-LSTM编码器-解码器架构建模动态引文网络，联合利用拓扑与时间信息。所提模型通过捕捉随时间演化的引文轨迹，显著优于基线模型，其中作者特征在预测引文增长方面最具预测力。

ABSTRACT

Citation count prediction is the task of predicting the number of citations a paper has gained after a period of time. Prior work viewed this as a static prediction task. As papers and their citations evolve over time, considering the dynamics of the number of citations a paper will receive would seem logical. Here, we introduce the task of sequence citation prediction. The goal is to accurately predict the trajectory of the number of citations a scholarly work receives over time. We propose to view papers as a structured network of citations, allowing us to use topological information as a learning signal. Additionally, we learn how this dynamic citation network changes over time and the impact of paper meta-data such as authors, venues and abstracts. To approach the new task, we derive a dynamic citation network from Semantic Scholar spanning over 42 years. We present a model which exploits topological and temporal information using graph convolution networks paired with sequence prediction, and compare it against multiple baselines, testing the importance of topological and temporal information and analyzing model performance. Our experiments show that leveraging both the temporal and topological information greatly increases the performance of predicting citation counts over time.

研究动机与目标

• 解决先前引文预测研究的局限性，即把引文数量视为静态目标而非演化序列。
• 提出一项新任务：预测引文数量随时间的完整轨迹，而不仅是一个未来的单一值。
• 利用Semantic Scholar数据集构建一个覆盖42年的动态引文网络，以建模学术引文的时间演化。
• 探究引文图的拓扑结构与引文增长的时间动态如何共同影响引文预测。
• 在演化引文网络的背景下，评估元数据特征（作者、会议/期刊、主题）的预测能力。

提出的方法

• 从Semantic Scholar数据集中构建动态引文网络，42年中每年更新一次图结构，其中节点代表论文，边代表引文。
• 使用图卷积网络（GCN）在每个时间步编码引文图的拓扑特征，捕捉引用论文与被引论文之间的结构性关系。
• 采用长短期记忆网络（LSTM）对时间步之间引文数量的时间演化进行建模，学习引文增长轨迹。
• 设计一种GCN-LSTM编码器-解码器模型，结合GCN嵌入与序列建模，以预测未来时间点的引文数量。
• 使用引文数量序列的平均绝对误差（MAE）损失进行模型训练，并通过消融研究分离拓扑与时间组件的贡献。
• 将元数据（作者、会议/期刊、摘要）作为节点特征，并通过消融研究评估其各自的预测能力。

实验结果

研究问题

• RQ1 将引文网络建模为动态图是否能相比静态预测方法更好地预测引文数量轨迹？
• RQ2 拓扑特征（引文图结构）与时间动态（随时间的引文增长）在多大程度上共同促进预测性能的提升？
• RQ3 在作者、会议/期刊与主题这三类元数据特征中，哪一类对学术论文的长期引文增长最具预测力？
• RQ4 GCN-LSTM模型在不同预测时长（10年 vs. 20年）下，与独立的GCN和LSTM基线模型相比表现如何？
• RQ5 作者与会议/期刊等特征的预测能力是否在不同引文增长模式下系统性地发生变化？

主要发现

• GCN-LSTM模型在所有时间步均取得最低的平均绝对误差（MAE），优于独立的GCN与LSTM模型，证明了联合建模拓扑与时间的优越性。
• GCN-LSTM模型表现出持续的性能提升，误差在约第10年趋于平稳，而独立模型在此之后性能持续下降。
• 作者元数据是预测力最强的特征，消融研究显示其在引文轨迹预测中带来最大性能提升。
• 会议/期刊元数据在所有特征中表现最差，可能由于命名存在噪声与不一致（如OCR错误、拼写变体），尽管其在数据集中覆盖率很高。
• 模型对高引文数量论文的预测准确率更高，表现为高阶节点（即高被引论文）的MAE更低，表明模型在高影响力论文上泛化能力更强。
• 仅使用GCN的模型在10至20年预测时长远超误差，表明静态图建模无法有效捕捉长期引文动态。