[논문 리뷰] Will This Paper Increase Your h-index? Scientific Impact Prediction

Yuxiao Dong, R. A. Johnson외 1명|arXiv (Cornell University)|2014. 12. 15.

scientometrics and bibliometrics research참고 문헌 26인용 수 11

한 줄 요약

이 논문은 실용적인 질문인 '이 논문이 내 h-인덱스를 증가시킬 수 있을까?'에 답하는 새로운 과학적 영향력 예측 모델을 제안한다. ArnetMiner에서 확보한 200만 페퍼의 데이터셋을 바탕으로, 저자의 전문성과 논문 발표 장소가 가장 핵심적인 요소로 규명되었으며, 5년 이내 h-인덱스 증가 가능성을 87.5% 이상 예측할 수 있었다. 이 모델은 인용 수 예측에서 벗어나 h-인덱스 기여도에 초점을 맞추어 연구자가 학술적 영향력을 극대화하기 위해 전략적으로 행동할 수 있는 통찰을 제공한다.

ABSTRACT

Scientific impact plays a central role in the evaluation of the output of scholars, departments, and institutions. A widely used measure of scientific impact is citations, with a growing body of literature focused on predicting the number of citations obtained by any given publication. The effectiveness of such predictions, however, is fundamentally limited by the power-law distribution of citations, whereby publications with few citations are extremely common and publications with many citations are relatively rare. Given this limitation, in this work we instead address a related question asked by many academic researchers in the course of writing a paper, namely: "Will this paper increase my h-index?" Using a real academic dataset with over 1.7 million authors, 2 million papers, and 8 million citation relationships from the premier online academic service ArnetMiner, we formalize a novel scientific impact prediction problem to examine several factors that can drive a paper to increase the primary author's h-index. We find that the researcher's authority on the publication topic and the venue in which the paper is published are crucial factors to the increase of the primary author's h-index, while the topic popularity and the co-authors' h-indices are of surprisingly little relevance. By leveraging relevant factors, we find a greater than 87.5% potential predictability for whether a paper will contribute to an author's h-index within five years. As a further experiment, we generate a self-prediction for this paper, estimating that there is a 76% probability that it will contribute to the h-index of the co-author with the highest current h-index in five years. We conclude that our findings on the quantification of scientific impact can help researchers to expand their influence and more effectively leverage their position of "standing on the shoulders of giants."

연구 동기 및 목표

• 연구자가 겪는 실용적 질문인 '이 논문이 내 h-인덱스를 증가시킬 수 있을까?'에 답하고자 한다.
• 파워-법 분포에 의해 왜곡되는 인용 수 예측의 한계를 극복하고자 한다.
• 논문이 주요 저자의 h-인덱스에 기여하는 데 영향을 미치는 핵심 요인을 규명하고자 한다.
• h-인덱스를 동적 기준으로 삼는 새로운 과학적 영향력 예측 문제를 체계화하고자 한다.
• 연구자가 학술적 영향력을 전략적으로 향상시키기 위해 실질적인 통찰을 제공하고자 한다.

제안 방법

• h-인덱스 기여도 예측을 이진 분류 문제로 체계화하여, 목표는 논문이 주요 저자의 h-인덱스를 5년 이내로 증가시킬지 여부이다.
• ArnetMiner에서 확보한 대규모 학술 데이터셋(170만 명의 저자, 200만 페퍼, 800만 건의 인용)을 활용해 모델을 학습하고 평가한다.
• 6개의 요인 그룹(저자 전문성, 발표 장소, 주제 인기도, 공동저자 영향력, 출간 연도, 인용 이력)을 통합한다.
• 역사적 인용 패턴을 기반으로 논문 주제에 대한 저자 권위를 정량화하기 위해 특징 공학을 적용한다.
• 엔지니어링된 특징을 바탕으로 h-인덱스 증가 여부를 예측하기 위해 머신러닝 모델(XGBoost, 로지스틱 회귀 등)을 활용한다.
• 5년 예측 윈도우를 적용하고 AUC 및 정확도 지표를 사용해 모델 성능을 검증한다.

실험 결과

연구 질문

• RQ1 논문이 주요 저자의 h-인덱스를 증가시키는 데 가장 강력하게 예측하는 요인은 무엇인가?
• RQ2 저자 전문성과 발표 장소의 예측 능력이 주제 인기도 및 공동저자 영향력에 비해 어느 정도 뛰어나게 나타나는가?
• RQ3 인용 수 분포의 왜곡된 특성에도 불구하고 h-인덱스 기여도는 얼마나 정확하게 예측할 수 있는가?
• RQ4 이 논문 자체에 대해 자기 예측을 수행했을 때 모델의 성능은 어떠한가?
• RQ5 예측 패턴은 다양한 과학 분야 간에 일관성이 있는가?

주요 결과

• 논문 주제에 대한 저자 전문성이 주요 저자의 h-인덱스 증가 여부를 결정하는 데 가장 영향력 있는 요소이다.
• 논문이 발표되는 장소가 두 번째로 핵심적인 요소로 나타나며, 주제 인기도 및 공동저자 영향력에 비해 뚜렷하게 뛰어난 성능을 보였다.
• 주제 인기도와 공동저자들의 h-인덱스는 논문이 주요 저자의 h-인덱스 증가에 기여할 가능성과 놀랍게 낮은 상관관계를 보였다.
• 모델은 논문이 주요 저자의 h-인덱스에 기여할 가능성이 5년 이내에 87.5% 초과로 예측할 수 있었다.
• 이 논문에 대한 자기 예측 결과, 공동저자 중 현재 h-인덱스가 가장 높은 자의 h-인덱스가 5년 이내에 증가할 가능성은 76%로 추정되었다.
• 결과적으로, 저자 전문성과 발표 장소 선택에 기반한 전략적 발표 결정이 학술적 영향력을 크게 증대시킬 수 있음을 시사한다.