[논문 리뷰] Citation Count Analysis for Papers with Preprints

Sergey Feldman, Kyle Lo외 1명|arXiv (Cornell University)|2018. 05. 14.

scientometrics and bibliometrics research참고 문헌 6인용 수 10

한 줄 요약

이 연구는 컴퓨터 과학 분야에서 회의 수락 이전에 arXiv에 논문을 사전 게재하는 것이 인용 수에 더 높은 영향을 미치는지 조사한다. 저자 h-index, 소속 학술지, arXiv에 게재된 기간을 제어하는 음이항 GLM을 사용하여 분석한 결과, 수락 이전에 게재된 논문은 다음 해에 평균적으로 65% 더 많은 인용을 받는 것으로 나타나, 가시성과 영향력 향상과의 유의미한 연관성을 시사한다.

ABSTRACT

We explore the degree to which papers prepublished on arXiv garner more citations, in an attempt to paint a sharper picture of fairness issues related to prepublishing. A paper's citation count is estimated using a negative-binomial generalized linear model (GLM) while observing a binary variable which indicates whether the paper has been prepublished. We control for author influence (via the authors' h-index at the time of paper writing), publication venue, and overall time that paper has been available on arXiv. Our analysis only includes papers that were eventually accepted for publication at top-tier CS conferences, and were posted on arXiv either before or after the acceptance notification. We observe that papers submitted to arXiv before acceptance have, on average, 65\% more citations in the following year compared to papers submitted after. We note that this finding is not causal, and discuss possible next steps.

연구 동기 및 목표

• 논문을 회의 수락 이전에 arXiv에 사전 게재하는 것이 컴퓨터 과학 분야에서 인용 수에 더 높은 영향을 미치는지 조사하기.
• 특히 저자 가시성과 인정도와 관련하여 사전 게재가 인용 영향력에 미치는 공정성 문제 평가하기.
• 저자 영향력, 출판 소속지, arXiv에 게재된 기간과 같은 혼란 변수를 제어하여 사전 게재의 영향을 분리하기.
• arXiv와 같은 사전 게재 서버를 통한 조기 노출이 인용 우수성에 미치는 경험적 증거 제공하기.

제안 방법

• 음이항 일반선형모형(GLM)을 사용하여 인용 수를 사전 게재 여부(수락 이전 대비 이후)의 이진 지표에 대해 회귀 분석한다.
• 논문 작성 시점의 h-index를 사용하여 저자 영향력을 제어한다.
• 소속 학술지를 범주형 변수로 포함하며, AAAI를 기준 범주로 설정한다.
• 논문이 arXiv에 얼마나 오래 게재되었는지를 회의 일자 이후 남은 연도의 분수로 측정하여 노출 기간을 고려한다.
• 계수 추정치의 지수를 통해 곱셈적 효과를 추정하여 인용률 다중성의 해석이 가능하도록 한다.
• 분석은 최상위 수준의 CS 학술 회의에서 최종 수락된 논문에 국한되며, arXiv에 수락 이전 또는 이후에 게재된 논문을 대상으로 한다.

실험 결과

연구 질문

• RQ1 논문을 회의 수락 이전에 arXiv에 사전 게재하는 것이, 수락 이후 사전 게재한 논문과 비교해 통계적으로 유의미하게 인용 수를 증가시키는가?
• RQ2 저자 영향력과 소속 학술지를 제어한 후, 관찰된 인용 우수성이 사전 게재에 기인하는 정도는 어느 정도인가?
• RQ3 다양한 최상위 수준의 CS 학술 회의에서 인용 우수성은 어떻게 달라지는가?
• RQ4 논문이 arXiv에 얼마나 오래 있었는지가, 사전 게재 시점과 독립적으로 인용 수에 유의미한 예측 변수인가?
• RQ5 유명한 인용(‘influential citations’)과 총 인용 수 간에 인용 우수성에 차이가 있는가?

주요 결과

• 수락 이전에 arXiv에 제출된 논문은 다음 해에 수락 이후에 게재된 논문보다 평균적으로 65% 더 많은 인용을 받는다.
• 유명한 인용의 경우 인용 우수성은 더욱 두드러지며, 사전 게재된 논문은 사후 게재 논문 대비 75% 더 많은 인용을 얻는다.
• 사전 게재의 계수(exp(0.5029) = 1.65)는 모든 다른 변수를 일정하게 유지할 경우 기대 인용 수의 곱셈적 증가를 나타낸다.
• 저자 h-index는 인용 수와 강하게 거의 단조적으로 연관되어 있으며, h-index 42–99는 h-index 0–6보다 두 배 이상의 인용을 얻는다.
• arXiv에 게재된 기간을 나타내는 변수(frac_year_remaining)는 인용 수에 유의미한 영향을 주지 않으며, 계수 추정치는 0에 가까우며 95% 신뢰구간이 0을 포함한다.
• 모델은 출판 소속지가 인용 수에 유의미하게 영향을 미친다는 것을 보여주며, NIPS, SODA, ECCV와 같은 회의 간에 뚜렷한 차이가 있다.