[논문 리뷰] Scientific productivity as a random walk

Sam Zhang, Nicholas LaBerge외 3명|ArXiv.org|2023. 09. 08.

scientometrics and bibliometrics researchDecision Sciences인용 수 3

한 줄 요약

이 논문은 과학적 생산성이 시간이 지남에 따라 분산이 감소하는 랜덤 워크(random walk)를 따른다고 제안하며, 전형적인 경력 궤적을 후기 경력 단계에서 연간 변동성이 감소함에 따라 발생하는 통계적 산물로 설명한다. 2,085명의 컴퓨터 과학 전임교수에 대한 실증 데이터를 바탕으로, 이 모델이 평균적 피크-감소 패턴과 개인별 궤적의 다양성을 모두 재현함을 보여주며, 생산성에 영향을 미치는 계약적 요인과 체계적 인centives의 역할을 부각시킨다.

ABSTRACT

The expectation that scientific productivity follows regular patterns over a career underpins many scholarly evaluations. However, recent studies of individual productivity patterns reveal a puzzle: the average number of papers published per year robustly follows the ``canonical trajectory'' of a rapid rise followed by a gradual decline, yet only about 20\% of individual productivity trajectories follow this pattern. We resolve this puzzle by modeling scientific productivity as a random walk, showing that the canonical pattern can be explained as a decrease in the variance in changes to productivity in the early-to-mid career. By empirically characterizing the variable structure of 2,085 productivity trajectories of computer science faculty at 205 PhD-granting institutions, spanning 29,119 publications over 1980--2016, we (i) discover remarkably simple patterns in both early-career and year-to-year changes to productivity, and (ii) show that a random walk model of productivity both reproduces the canonical trajectory in the average productivity and captures much of the diversity of individual-level trajectories, including the lognormal distribution of cumulative productivity observed by William Shockley in 1957. We confirm that these results generalize across fields by fitting our model to a separate panel of 22,952 faculty across 12 fields from 2011 to 2023. These results highlight the importance of variance in shaping individual scientific productivity, opening up new avenues for characterizing how systemic incentives and opportunities can be directed for aggregate effect.

연구 동기 및 목표

• 평균적으로 과학적 경력이 전형적인 생산성 궤적을 따르는 데 비해, 약 20%의 개인만 이 패턴을 보임에도 불구하고 이 모순을 해결하기 위해.
• 경력 단계에 따라 변화하는 분산으로 조절되는 연간 생산성의 랜덤 변동성이 관측된 집합적 패턴을 설명할 수 있는지 조사하기 위해.
• 2,085명의 컴퓨터 과학 전임교수에서 확보한 실증 데이터를 바탕으로 개인의 생산성 궤적을 위한 확률적 생성 모델을 개발하고 검증하기 위해.
• 기금, 협업, 삶의 사건과 같은 체계적 요인이 연구 성과의 변동성과 집합적 추세에 어떻게 기여하는지 탐색하기 위해.
• 결정론적 경력 모델에서 기계적 원리와 불확실성의 역할에 대한 이해로의 전환을 위해.

제안 방법

• 매년 출판 수의 변화가 라플라스 분포를 따르는 매개변수화된 랜덤 워크로 과학적 생산성을 모델링한다.
• 경력 단계에 따라 감소하는 시간에 따라 변화하는 분산 매개변수를 통합하여, 후기 연도에는 변동성이 감소함을 반영한다.
• 1980~2016년 사이 205개의 박사 학위 수여 기관에서 확보한 2,085명의 컴퓨터 과학 전임교수에 대한 실증 데이터를 사용해 모델 매개변수를 추정한다.
• 고정된 분산 변화를 가진 단순 모델과 마코프 동역학을 가진 전체 모델을 관측된 생산성 궤적과 비교하여 검증한다.
• 생산성의 하한 경계가 0임을 고려하여, 0에서의 반사 경계 조건을 적용한다.
• 최대우도추정법과 적합도 검정을 사용하여 모델 성능을 실증 데이터와 비교 평가한다.

실험 결과

연구 질문

• RQ1 대부분의 개인 궤적이 이에 대해 이탈함에도 불구하고, 왜 집합적 자료에서 전형적인 생산성 궤적이 나타나는가?
• RQ2 시간에 따라 변화하는 분산을 가진 랜덤 워크 모델이 평균적인 전형적 패턴과 개인 궤적의 다양성을 모두 재현할 수 있는가?
• RQ3 생산성에 대한 0 경계 제약 조건이 분산과 평균 출력 간의 관계에 어떻게 영향을 미치는가?
• RQ4 협업, 실패, 삶의 사건과 같은 계약적이고 예측 불가능한 요인이 연간 생산성 변화에 어떻게 기여하는가?
• RQ5 체계적 인centives와 기관적 요인이 경력 단계에 따라 생산성 분산의 변화와 얼마나 관련이 있는가?

주요 결과

• 전형적인 생산성 궤적은 결정론적 경력 단계가 아니라, 시간이 지남에 따라 연간 생산성 변화의 분산이 감소하는 통계적 결과로 나타난다.
• 연간 생산성 변화의 분포는 라플라스 분포를 매우 잘 따르며, 동일한 크기의 증가와 감소에 대해 대칭적인 확률을 가짐을 시사한다.
• 생산성에 대한 0 경계 제약 조건은 분산이 높을 경우 평균 생산성을 상향 조정하는 셰닝 효과를 유도하며, 이는 분산과 평균 출력 간의 연결 고리를 형성한다.
• 시간에 따라 변화하는 분산을 가진 단순 랜덤 워크 모델은 전형적 궤적을 성공적으로 재현하며, 개인 궤적의 다수의 다양성을 포괄한다.
• 완전한 마코프 동역학 모델은 장기적 의존성을 포착하는 데 한계를 보이며, 이는 비마코프 요소가 생산성 패턴에 영향을 미칠 수 있음을 시사한다.
• 실증 데이터는 초기 경력의 생산성이 후기 경력의 생산성보다 더 변동성이 크다는 것을 보여주며, 분산 감소 가설을 지지한다.