[논문 리뷰] Modeling and Predicting Citation Count via Recurrent Neural Network with Long Short-Term Memory

Sha Yuan, Jie Tang외 3명|arXiv (Cornell University)|2018. 11. 06.

scientometrics and bibliometrics research참고 문헌 10인용 수 14

한 줄 요약

이 논문은 장기적 인용 수를 예측하기 위해 장기 기억(long short-term memory, LSTM) 순환 신경망 모델을 제안한다. 이 모델은 내재적 품질, 노령화 효과, 매ทธ류 효과, 최근성 효과의 네 가지 핵심 현상을 통합하여 개발되었다. 대규모 실세계 인용 데이터셋을 대상으로 한 실험 결과, 기존 방법들보다 인용 수 예측 정확도에서 뚜렷한 우월성을 보였다.

ABSTRACT

The rapid evolution of scientific research has been creating a huge volume of publications every year. Among the many quantification measures of scientific impact, citation count stands out for its frequent use in the research community. Although peer review process is the mainly reliable way of predicting a paper's future impact, the ability to foresee lasting impact on the basis of citation records is increasingly important in the scientific impact analysis in the era of big data. This paper focuses on the long-term citation count prediction for individual publications, which has become an emerging and challenging applied research topic. Based on the four key phenomena confirmed independently in previous studies of long-term scientific impact quantification, including the intrinsic quality of publications, the aging effect and the Matthew effect and the recency effect, we unify the formulations of all these observations in this paper. Building on a foundation of the above formulations, we propose a long-term citation count prediction model for individual papers via recurrent neural network with long short-term memory units. Extensive experiments on a real-large citation data set demonstrate that the proposed model consistently outperforms existing methods, and achieves a significant performance improvement.

연구 동기 및 목표

• 빅데이터 과학 출판 시대에 정확한 장기적 인용 수 예측의 증가하는 수요를 해결하기 위해.
• 과학적 영향력에서 경험적으로 검증된 네 가지 현상—내재적 품질, 노령화 효과, 매ทธ류 효과, 최근성 효과—을 하나의 예측 프레임워크에 통합하기 위해.
• 장기간에 걸쳐 개별 논문의 시간적 인용 역학을 포착할 수 있는 딥러닝 모델을 개발하기 위해.
• 장기 기억 단위를 활용한 시퀀스 모델링을 통해 기존 예측 방법을 향상시키기 위해.

제안 방법

• 내재적 품질(논문별 영향력 잠재력), 노령화 효과(시간에 따른 인용 감소), 매ทธ류 효과(부유한 자가 더 많이 얻는 다이내믹스), 최근성 효과(최근 인용이 더 큰 영향을 미침)의 네 가지 핵심 현상을 통합하여 인용 예측 문제를 수립한다.
• 시간에 따른 순차적 인용 패턴을 모델링하기 위해 장기 기억 단위(LSTM)를 강화한 순환 신경망(RNN) 아키텍처를 설계한다.
• 기본 인용 수를 입력 시퀀스로 사용하여 LSTM 모델을 훈련시켜 다양한 장기적 수평에서 미래의 인용 수를 예측한다.
• 네 가지 현상을 LSTM 프레임워크 내에서 하나의 미분 가능한 공식으로 통합함으로써 동적 영향력 궤적의 엔드 투 엔드 학습을 가능하게 한다.
• 다양한 과학 분야에서의 실증적 타당성을 확보하기 위해 실대용 대규모 인용 데이터셋을 훈련 및 평가에 사용한다.
• 백프로파게이션 스루 타임 및 예측 오차 최소화를 포함한 표준 딥러닝 훈련 절차를 사용하여 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 LSTM 기반 모델은 개별 과학 논문의 장기적 인용 역학을 효과적으로 포착할 수 있는가?
• RQ2 내재적 품질, 노령화 효과, 매ทธ류 효과, 최근성 효과의 통합 모델링이 예측 성능에 얼마나 기여하는가?
• RQ3 정확도와 강건성 측면에서 제안된 모델은 기존 인용 예측 방법보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 모델은 실제 인용 데이터에서 다양한 과학 분야와 출판 유형 간에 일반화 가능한가?

주요 결과

• 제안된 LSTM 기반 모델은 대규모 실세계 인용 데이터셋에서 기존 인용 예측 방법들을 일관되게 압도한다.
• 품질, 노령화, 매ทธ류 효과, 최근성의 네 가지 핵심 현상을 하나의 프레임워크에 통합함으로써 예측 성능이 향상된다.
• 복잡한 시간적 역학을 포착하는 데 효과적이라는 점을 입증하며, 장기적 인용 수 예측에서 뚜렷한 성능 향상을 달성한다.
• 결과는 LSTM를 활용한 시퀀스 모델링이 단기 추세를 넘어서 과학적 영향력을 예측하는 데 매우 효과적이라는 점을 확인한다.