[논문 리뷰] Longitudinal Citation Prediction using Temporal Graph Neural Networks

Andreas Nugaard Holm, Barbara Plank외 2명|VBN Forskningsportal (Aalborg Universitet)|2020. 12. 10.

Advanced Graph Neural Networks참고 문헌 27인용 수 7

한 줄 요약

이 논문은 종단적 인용 예측을 시퀀스 작업으로서 제안하며, 동적 인용 네트워크를 GCN-LSTM 인코더-디코더 아키텍처로 모델링하여 위상적 정보와 시간 정보를 동시에 활용한다. 제안된 모델은 시간에 따라 변화하는 인용 궤적을 포착함으로써 기준 모델들을 뛰어넘는 성능을 보이며, 저자 특징이 인용 증가를 예측하는 데 가장 유용한 것으로 밝혀졌다.

ABSTRACT

Citation count prediction is the task of predicting the number of citations a paper has gained after a period of time. Prior work viewed this as a static prediction task. As papers and their citations evolve over time, considering the dynamics of the number of citations a paper will receive would seem logical. Here, we introduce the task of sequence citation prediction. The goal is to accurately predict the trajectory of the number of citations a scholarly work receives over time. We propose to view papers as a structured network of citations, allowing us to use topological information as a learning signal. Additionally, we learn how this dynamic citation network changes over time and the impact of paper meta-data such as authors, venues and abstracts. To approach the new task, we derive a dynamic citation network from Semantic Scholar spanning over 42 years. We present a model which exploits topological and temporal information using graph convolution networks paired with sequence prediction, and compare it against multiple baselines, testing the importance of topological and temporal information and analyzing model performance. Our experiments show that leveraging both the temporal and topological information greatly increases the performance of predicting citation counts over time.

연구 동기 및 목표

• 이전의 인용 예측 연구가 인용 수를 정적인 목표로 다루는 한계를 해결한다.
• 단일 미래 값이 아닌, 인용 수의 전체 궤적을 예측하는 새로운 작업을 제안한다.
• 학술 인용의 시간적 변화를 모델링하기 위해 Semanitc Scholar 데이터셋을 사용해 42년에 걸친 동적 인용 네트워크를 구축한다.
• 위상적 구조(인용 그래프)와 시간적 동역학(인용 증가)이 인용 예측에 어떻게 함께 기여하는지 조사한다.
• 메타데이터 특징(저자, 학술 회의, 주제)이 변화하는 인용 네트워크 맥락에서 예측 능력이 어떻게 작용하는지 평가한다.

제안 방법

• Semantic Scholar 데이터셋에서 동적 인용 네트워크를 구축하며, 42년에 걸쳐 매년 업데이트되는 그래프를 사용한다. 노드는 논문을, 간선은 인용을 나타낸다.
• 각 시간 단계에서 인용 그래프의 위상적 특징을 인코딩하기 위해 그래프 컬러레이션 네트워크(GCN)를 사용하여 인용하는 논문과 피인용 논문 간의 구조적 관계를 포착한다.
• 시간 단계 간의 인용 수 변화를 모델링하기 위해 장단기 기억(LSTM) 네트워크를 활용하여 인용 증가 궤적을 학습한다.
• GCN 임베딩과 순차적 모델링을 결합하여 향후 시간 단계에서의 인용 수를 예측하는 GCN-LSTM 인코더-디코더 모델을 설계한다.
• 인용 수 시퀀스에 대해 평균 절대 오차(MAE) 손실을 사용하여 모델을 훈련하고, 위상적 및 시간적 구성 요소의 기여도를 분리하기 위해 추론 분석(ablation studies)을 실시한다.
• 노드 특징으로 메타데이터(저자, 학술 회의, 초록)를 통합하고, 추론 분석을 통해 각 특징의 개별 예측 능력을 평가한다.

실험 결과

연구 질문

• RQ1 정적인 예측 접근 방식에 비해 동적 그래프로 인용 네트워크를 모델링할 경우, 인용 수 궤적 예측 성능이 향상되는가?
• RQ2 위상적 특징(인용 그래프 구조)과 시간적 동역학(시간에 따른 인용 증가)이 예측 성능 향상에 얼마나 기여하는가?
• RQ3 저자, 학술 회의, 주제 중 어떤 메타데이터 특징이 학술 논문의 장기적 인용 증가를 가장 잘 예측하는가?
• RQ4 GCN-LSTM 모델의 성능은 다양한 예측 수평(10년 vs. 20년)에서 단독 GCN 및 LSTM 기준 모델과 비교해 어떻게 다를까?
• RQ5 저자나 학술 회의와 같은 특징의 예측 능력은 다양한 인용 증가 패턴에 따라 체계적으로 변하는가?

주요 결과

• GCN-LSTM 모델은 모든 시간 단계에서 가장 낮은 평균 절대 오차(MAE)를 기록하며, 단독 GCN 및 LSTM 모델을 모두 능가하여 위상과 시간을 함께 모델링하는 데서 유의미한 이점을 입증한다.
• GCN-LSTM 모델은 시간이 지남에 따라 지속적인 성능 향상을 보이며, 약 10년차에 오차가 정점에 도달해 정체되지만, 단독 모델들은 이 시점 이후 성능이 악화된다.
• 저자 메타데이터가 가장 예측 능력이 높은 특징으로, 추론 분석을 통해 인용 궤적 예측 성능 향상에서 가장 큰 기여를 했다.
• 학술 회의 메타데이터는 특징 중에서 가장 낮은 성능을 보였으며, 이는 이름의 노이즈와 일관성 없는 표기(예: OCR 오류, 철자 변형) 때문일 가능성이 높지만, 데이터셋 내에서 높은 빈도로 나타난다.
• 높은 인용 수를 가진 논문일수록 예측 정확도가 높았으며, 이는 고도수 노드(즉, 높은 인용 수를 가진 논문)에서 MAE가 낮게 나타나 고성능 논문에 대해 더 잘 일반화된다는 것을 시사한다.
• 단독 GCN 모델은 10년에서 20년 예측 수평으로 갈수록 오차가 증가하는 경향을 보이며, 정적 그래프 모델링이 장기적 인용 동역학을 효과적으로 포착하지 못함을 시사한다.