[논문 리뷰] Methods for measuring the citations and productivity of scientists across time and discipline

Alexander M. Petersen, Fengzhong Wang외 1명|IMT Institutional Repository (IMT School for Advanced Studies Lucca)|2009. 11. 06.

scientometrics and bibliometrics research참고 문헌 25인용 수 14

한 줄 요약

이 논문은 협업 규모와 시계열 인용 추세를 보정함으로써 분야와 시간대를 초월한 과학적 생산성과 인용 영향력을 공정하게 비교할 수 있는 정규화된 프레임워크를 제안한다. 인용 기여도와 논문 기여도를 도입하여 과학적 경력에서 보편적인 통계적 패턴을 드러내며, 상행하는 효과(Mattew effect)를 후속 논문 간 간격 감소와 고성과 저널에서의 일관된 등수 법칙적 스케일링을 통해 입증한다.

ABSTRACT

Publication statistics are ubiquitous in the ratings of scientific achievement, with citation counts and paper tallies factoring into an individual's consideration for postdoctoral positions, junior faculty, tenure, and even visa status for international scientists. Citation statistics are designed to quantify individual career achievement, both at the level of a single publication, and over an individual's entire career. While some academic careers are defined by a few significant papers (possibly out of many), other academic careers are defined by the cumulative contribution made by the author's publications to the body of science. Several metrics have been formulated to quantify an individual's publication career, yet none of these metrics account for the dependence of citation counts and journal size on time. In this paper, we normalize publication metrics across both time and discipline in order to achieve a universal framework for analyzing and comparing scientific achievement. We study the publication careers of individual authors over the 50-year period 1958-2008 within six high-impact journals: CELL, the New England Journal of Medicine (NEJM), Nature, the Proceedings of the National Academy of Science (PNAS), Physical Review Letters (PRL), and Science. In comparing the achievement of authors within each journal, we uncover quantifiable statistical regularity in the probability density function (pdf) of scientific achievement across both time and discipline. The universal distribution of career success within these arenas for publication raises the possibility that a fundamental driving force underlying scientific achievement is the competitive nature of scientific advancement.

연구 동기 및 목표

• 분야와 시간대를 초월한 과학적 성취를 비교하기 위한 표준화된 지표 부족 문제를 해결하기 위해.
• 협업 규모와 분야별 인용 관행으로 인한 인용 및 생산성 지표의 편향을 보정하기 위해.
• 개인 과학적 경력 간 공정한 비교를 가능하게 하는 보편적인 정규화 방법을 개발하기 위해.
• 과학적 성공의 통계적 규칙성과 누적 우위(상행하는 효과)가 경력 진행 과정에서 차지하는 역할을 조사하기 위해.

제안 방법

• 각 논문의 인용 수를 동일 연도에 출판된 논문의 평균 인용 수로 나누어 시계열 간 비교가 가능하도록 인용 수를 정규화한다.
• 모든 공저자 간에 총 인용 수와 논문 수를 균등하게 나누어 '인용 기여도'와 '논문 기여도'를 생성한다.
• 6개의 고성과 저널에서 1958년부터 2008년까지 과학자들의 경력 궤적을 분석하기 위해 도출된 정규화된 지표를 사용한다.
• 인용 기여도와 논문 기여도의 확률 밀도 함수(PDF)에 등수 법칙 피팅을 적용하여 스케일링 지수를 식별한다.
• 상행하는 효과를 탐지하기 위해 논문 간 간격을 분석하며, 후속 논문 출간 속도가 빨라지는 것은 누적 우위를 나타낸다.
• 관측된 등수 법칙 분포와 과학적 경력 내 경쟁적 동역학을 해석하기 위해 통계역학 기반 모델을 사용한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 인용 및 생산성 지표를 정규화하여 분야와 시간대를 초월해 공정하게 비교할 수 있는가?
• RQ2 지표가 적절히 정규화되었을 때 과학적 성취의 분포에서 어떤 통계적 패턴이 드러나는가?
• RQ3 초기 성공이 더 큰 성공으로 이어지는 상행하는 효과가 과학적 논문 경력에 얼마나 뚜렷하게 나타나는가?
• RQ4 협업 규모와 시계열 인용 추세는 전통적인 과학 성과 지표의 공정성에 어떤 영향을 미치는가?
• RQ5 다양한 과학 분야에서 과학적 생산성과 영향력을 지배하는 보편적인 스케일링 법칙이 존재하는가?

주요 결과

• 6개의 고성과 저널에서 인용 기여도와 논문 기여도의 확률 밀도 함수(PDF)는 스케일링 지수 α ≈ 2.5–2.6인 등수 법칙 분포를 따르며, 과학적 성취에 보편적인 통계적 구조가 있음을 시사한다.
• 개별 논문의 스케일링 지수(γ ≈ 3)는 총 인용 기여도와 논문 기여도보다 크며, 뛰어난 경력가가 뛰어난 논문보다 더 흔한 이유는 일관된 성과에서 비롯된다는 점을 시사한다.
• 대부분의 저자에게 논문 간 평균 간격 ⟨τ(1)⟩은 시간이 지남에 따라 감소하며, 저널에 따라 2.2~3.5년의 범위를 보이며 상행하는 효과에 대한 정량적 증거를 제공한다.
• PRL에서 이 간격 감소 현상이 가장 두드러지며, 이는 고에너지 물리학 분야에서 대규모 협업 프로젝트가 연간 다수의 고성과 결과를 내기 때문이다.
• 정규화된 지표는 과학적 성공이 본질적으로 경쟁적임을 드러내며, 누적 우위가 분야와 시간대를 초월해 경력 진행을 이끄는 것으로 나타났다.
• 이 프레임워크는 분야별 및 시계열적 편향을 성공적으로 제거하여 과학적 생산성과 영향력에 대한 타당한 분야 간 및 시간 간 비교를 가능하게 했다.