[论文解读] Modeling and Predicting Citation Count via Recurrent Neural Network with Long Short-Term Memory

Sha Yuan, Jie Tang+3 more|arXiv (Cornell University)|Nov 6, 2018

scientometrics and bibliometrics research参考文献 10被引用 14

一句话总结

本文提出一种长短期记忆（LSTM）循环神经网络模型，通过整合四个关键现象——内在质量、老化效应、马太效应和新近性效应——来预测单篇科学出版物的长期引文数量。在大规模真实引文数据集上的实验表明，该模型在引文数量预测精度方面显著优于现有方法。

ABSTRACT

The rapid evolution of scientific research has been creating a huge volume of publications every year. Among the many quantification measures of scientific impact, citation count stands out for its frequent use in the research community. Although peer review process is the mainly reliable way of predicting a paper's future impact, the ability to foresee lasting impact on the basis of citation records is increasingly important in the scientific impact analysis in the era of big data. This paper focuses on the long-term citation count prediction for individual publications, which has become an emerging and challenging applied research topic. Based on the four key phenomena confirmed independently in previous studies of long-term scientific impact quantification, including the intrinsic quality of publications, the aging effect and the Matthew effect and the recency effect, we unify the formulations of all these observations in this paper. Building on a foundation of the above formulations, we propose a long-term citation count prediction model for individual papers via recurrent neural network with long short-term memory units. Extensive experiments on a real-large citation data set demonstrate that the proposed model consistently outperforms existing methods, and achieves a significant performance improvement.

研究动机与目标

• 为应对大数据科学出版时代对长期引文数量预测准确性的日益增长的需求。
• 将科学影响力中四个经验验证的现象——内在质量、老化效应、马太效应和新近性效应——统一到一个预测框架中。
• 开发一种深度学习模型，以捕捉个体出版物在长时间跨度内的时序引文动态。
• 通过利用长短期记忆单元进行序列建模，改进现有预测方法。

提出的方法

• 通过整合四个关键现象来构建引文预测问题：内在质量（与论文相关的影响力潜力）、老化效应（随时间推移的引文衰减）、马太效应（强者愈强的动态）和新近性效应（近期引文具有更高影响力）。
• 设计一种增强长短期记忆（LSTM）单元的循环神经网络（RNN）架构，以建模随时间推移的序列引文模式。
• 使用历史引文数量作为输入序列，训练LSTM模型以预测不同长期时间范围的未来引文数量。
• 在LSTM框架内将四个现象统一为单一可微分公式，实现对动态影响力轨迹的端到端学习。
• 采用大规模真实引文数据集进行训练和评估，确保在多样化科学领域中的经验有效性。
• 使用标准深度学习训练流程优化模型，包括时间反向传播和预测误差的损失最小化。

实验结果

研究问题

• RQ1 基于LSTM的模型能否有效捕捉单篇科学出版物的长期引文动态？
• RQ2 将内在质量、老化效应、马太效应和新近性效应统一建模后，预测性能提升程度如何？
• RQ3 在准确性和鲁棒性方面，该模型在多大程度上优于现有引文预测方法？
• RQ4 该模型在真实引文数据中是否能在多样化科学学科和出版类型间实现良好泛化？

主要发现

• 所提出的基于LSTM的模型在大规模真实引文数据集上持续优于现有引文预测方法。
• 将四个关键现象——质量、老化、马太效应和新近性效应——整合到单一框架中，显著提升了预测性能。
• 该模型在长期引文数量预测中实现了显著的性能提升，证明其在捕捉复杂时序动态方面的有效性。
• 结果证实，使用LSTM进行序列建模在预测科学影响力方面极为有效，可超越短期趋势进行长期预测。