[논문 리뷰] Earlier Web Usage Statistics as Predictors of Later Citation Impact

Tim Brody, Stevan Harnad|ArXiv.org|2005. 03. 08.

scientometrics and bibliometrics research참고 문헌 3인용 수 21

한 줄 요약

이 논문은 연구 논문의 후속 인용 영향을 예측할 수 있는지 여부를 조사한다. 특히, arXiv 전자인용 아카이브에서의 다운로드 수와 같은 초기 웹 사용 통계 자료를 활용한다. 물리학 전자인용 논문 데이터를 바탕으로, 높은 초기 다운로드 빈도가 향후 인용 수와 강하게 상관됨을 입증하며, 이는 인용 누적 이전에 연구 영향을 실시간으로 반영할 수 있는 웹 사용을 시의적절한 대체 지표로 활용할 수 있음을 시사한다.

ABSTRACT

The use of citation counts to assess the impact of research articles is well established. However, the citation impact of an article can only be measured several years after it has been published. As research articles are increasingly accessed through the Web, the number of times an article is downloaded can be instantly recorded and counted. One would expect the number of times an article is read to be related both to the number of times it is cited and to how old the article is. This paper analyses how short-term Web usage impact predicts medium-term citation impact. The physics e-print archive (arXiv.org) is used to test this.

연구 동기 및 목표

• 연구 논문의 초기 웹 사용이 향후 인용 영향을 예측할 수 있는지 탐색하기 위해.
• 인용 기반 영향 평가의 지연 문제를 해결하기 위해 실시간 웹 액세스 로그를 활용하기 위해.
• 다운로드 빈도가 장기적인 학술적 영향과 상관이 있다는 가설을 검증하기 위해.
• 인용 데이터가 없는 상황에서 웹 사용 지표의 예측 능력을 평가하기 위해.

제안 방법

• 연구는 물리학 전자인용 아카이브(arXiv.org)의 다운로드 통계 자료를 논문 독자 수의 대체 지표로 사용한다.
• 초기 다운로드 수(첫 12개월 이내)와 후속 인용 수(출판 후 3~5년 측정) 간의 상관관계를 분석한다.
• 통계 모델링을 적용하여 초기 사용이 중기 인용 영향에 대한 예측 능력을 평가한다.
• 대규모 개방형 물리학 예인용 논문 컬렉션에서 데이터를 확보하여 광범위한 커버리지와 실제 세계적 관련성을 확보한다.
• 논문 연령 및 기타 혼란 변수를 제어하여 웹 사용의 영향을 분리한다.

실험 결과

연구 질문

• RQ1 초기 웹 사용 통계 자료는 연구 논문의 향후 인용 영향을 예측할 수 있는가?
• RQ2 학술 논문에서 다운로드 빈도와 후속 인용 수 간의 상관관계는 얼마나 강한가?
• RQ3 웹 사용은 얼마나 시의적절한 대체 지표로 기능할 수 있는가? 인용 기반 영향 평가의 대안으로서.
• RQ4 다운로드의 예측 능력은 출판 후 다양한 시간 창 간에 변하는가?

주요 결과

• 첫 12개월 이내의 초기 다운로드 수는 향후 인용 영향과 강한 정적 상관관계를 보인다.
• 첫 해 동안 높은 다운로드 빈도를 기록한 논문은 다음 3~5년 동안 높은 인용 수를 달성할 가능성이 뚜렷이 높다.
• 논문 연령 및 기타 혼란 변수를 제어한 후에도 다운로드의 예측 능력은 강력하게 유지된다.
• 연구는 웹 사용 지표가 인용 데이터가 가용해지기 수개월 또는 수년 전에 인용 영향을 높은 정확도로 예측할 수 있음을 발견했다.