[论文解读] A Heterogeneous Dynamical Graph Neural Networks Approach to Quantify Scientific Impact

Fan Zhou, Xovee Xu+4 more|arXiv (Cornell University)|Mar 26, 2020

Advanced Graph Neural Networks参考文献 24被引用 10

一句话总结

本文提出异质动态图神经网络（HDGNN），一种新颖的方法，用于建模学术图中的动态引用模式和异质节点关系，以预测论文和作者的长期科学影响力。通过整合时间依赖性、节点属性（例如，期刊、作者关系）以及加权上下文聚合策略，HDGNN 在多个期刊的影响力预测任务中均优于最先进基线模型，展现出在真实引用数据上的更高准确性和鲁棒性。

ABSTRACT

Quantifying and predicting the long-term impact of scientific writings or individual scholars has important implications for many policy decisions, such as funding proposal evaluation and identifying emerging research fields. In this work, we propose an approach based on Heterogeneous Dynamical Graph Neural Network (HDGNN) to explicitly model and predict the cumulative impact of papers and authors. HDGNN extends heterogeneous GNNs by incorporating temporally evolving characteristics and capturing both structural properties of attributed graph and the growing sequence of citation behavior. HDGNN is significantly different from previous models in its capability of modeling the node impact in a dynamic manner while taking into account the complex relations among nodes. Experiments conducted on a real citation dataset demonstrate its superior performance of predicting the impact of both papers and authors.

研究动机与目标

• 为应对在复杂且不断演化的引用动态背景下，预测论文和作者长期科学影响力这一挑战。
• 建模学术引用图中节点（例如，作者、论文、期刊）之间的异质关系及其随时间的演化。
• 通过捕捉结构特性与动态引用序列，提升影响力预测性能，克服静态或同质图模型的局限性。
• 量化关键因素（如发表期刊、作者关系、引用级联）对影响力累积的影响。
• 构建一个统一框架，同时实现宏观（论文/作者级别）和微观（引用序列级别）的影响力预测。

提出的方法

• HDGNN 采用异质图神经网络（HGNN），利用加权上下文节点选择策略，从不同节点类型（论文、作者、期刊）聚合特征。
• 引入时间注意力表示网络，以编码序列化引用模式，并建模随时间演变的影响。
• 模型采用多关系聚合机制，捕捉文献图中 7 种关系类型（例如，作者关系、引用、期刊）的复杂交互。
• 通过基于 RNN 的池化策略实现动态邻居聚合，保留引用和作者关系历史中的序列依赖性。
• 通过预测层对节点表示进行优化，将学习到的嵌入映射到累积引用次数，损失函数采用最小化均方对数误差（MSLE）的策略。
• 提出一种高效的网络采样方法，以在保持结构和时间完整性的前提下处理大规模引用图。

实验结果

研究问题

• RQ1 异质动态图神经网络在预测科学论文和作者长期引用影响力方面表现如何？
• RQ2 发表期刊和作者关系在影响预测模型性能中扮演何种角色？
• RQ3 时间依赖性和引用级联如何影响科学影响力的演化？
• RQ4 与同质或静态图模型相比，建模异质节点关系在多大程度上提升了影响力预测性能？
• RQ5 模型能否捕捉隐含的反馈回路（如高影响力作者引用其他高影响力成果），其对预测准确率有何影响？

主要发现

• HDGNN 在 8 个代表性期刊中，对论文和作者影响力的预测性能显著优于最先进基线模型，包括 DeepCas、CasCN、Metapath2Vec 和 HetGNN。
• 在 8 个期刊中的 6 个上达到最低的均方对数误差（MSLE），尤其在引用分布呈重尾分布的高方差期刊（如 Rev. Mod. Phys.）中表现尤为突出。
• 移除期刊嵌入后性能出现显著下降，证实发表期刊是科学影响力的关键预测因子。
• 基于 RNN 的聚合器优于最大池化和求和池化，因其能有效建模引用和作者关系动态中的序列依赖性。
• t-SNE 可视化显示，按发表期刊聚类的论文和作者在嵌入空间中呈现清晰聚类，表明模型有效编码了期刊特定的影响模式。
• 模型捕捉到‘群体效应’，即高影响力作者和论文在潜在空间中聚集，暗示引用行为中存在强烈的正反馈回路。