[논문 리뷰] The impact of the COVID-19 pandemic on academic productivity

Andrew R. Casey, Ilya Mandel외 1명|arXiv (Cornell University)|2021. 09. 14.

Health and Medical Research Impacts인용 수 7

한 줄 요약

이 연구는 2007년에서 2021년 사이 arXiv로의 프리프린트 제출 자료를 활용하여 코로나19 패닉 기간 동안의 학술 생산성을 분석한다. 전체적으로 생산성은 안정을 유지했으며, 2020년에 총 프리프린트 수가 12.6% 증가했지만, 특히 코로나19와 관련된 정량적 생물학 분야에서 50%의 급증이 발생하여 분야별로 연구 우선순위가 변화하고 있음을 보여주며, 이는 분야 간 연구의 회복력과 변화를 동시에 반영한다.

ABSTRACT

'Publish or perish' is an expression describing the pressure on academics to consistently publish research to ensure a successful career in academia. With a global pandemic that has changed the world, how has it changed academic productivity? Here we show that academics are posting just as many publications on the arXiv pre-print server as if there were no pandemic: 168,630 were posted in 2020, a +12.6% change from 2019 and $+1.4σ$ deviation above the predicted 162,577 $\pm$ 4,393. However, some immediate impacts are visible in individual research fields. Conference cancellations have led to sharp drops in pre-prints, but laboratory closures have had mixed effects. Only some experimental fields show mild declines in outputs, with most being consistent on previous years or even increasing above model expectations. The most significant change is a 50% increase ($+8σ$) in quantitative biology research, all related to the COVID-19 pandemic. Some of these publications are by biologists using arXiv for the first time, and some are written by researchers from other fields (e.g., physicists, mathematicians). While quantitative biology pre-prints have returned to pre-pandemic levels, 20% of the research in this field is now focussed on the COVID-19 pandemic, demonstrating a strong shift in research focus.

연구 동기 및 목표

• 프리프린트 데이터를 활용하여 코로나19 패닉이 과학 분야 전반의 학술 생산성에 미친 영향을 평가하기 위해.
• 패닉 기간과 관련된 이격을 분리하기 위해 arXiv 프리프린트 제출의 장기적 추세를 모델링하기 위해.
• 학술 회의 취소 및 실험실 폐쇄와 같은 분야별로 발생한 혼란을 특정하기 위해.
• 특히 정량적 생물학 분야에서 코로나19 관련 연구의 급증을 정량화하기 위해.
• 개념적 프리프린트 수를 사용할 경우 개인 또는 공동체 수준의 영향에 대한 불균형한 영향을 가려내는 데 한계가 있음을 강조하기 위해.

제안 방법

• 2007년 4월에서 2021년 5월 사이에 1,475,914건의 arXiv 프리프린트에 대한 메타데이터를 확보하였으며, 생성 일자, 주제, 제목, 저자, 초록을 포함하였다.
• 장기적인 선형 추세와 계절적 변동을 반영하기 위해 쿼드라틱 주기적 커널을 사용한 가우시안 프로세스를 사용하여 월별 프리프린트 수를 모델링하였다.
• 정확도 검증을 위해 계절 항을 포함한 자기회귀적 통합 이동 평균(ARIMA) 모델을 사용하였으며, (p=d=q=1, P=D=Q=1, m=12)로 설정하였다.
• 제목 또는 초록에서 'pandemic', 'COVID', 'SARS-CoV-2', 'lockdown', 'coronavirus' 등의 키워드를 검색하여 패닉 관련 프리프린트를 식별하였다.
• 이름의 모호성을 해결하기 위해 성과 이름의 첫 글자를 기준으로 저자를 그룹화하여 저자 신원의 잘못된 분할 또는 병합을 최소화하였다.
• 관측된 2020년 프리프린트 수를 모델 예측치와 비교하여 유의미한 이격을 탐지하였으며, 통계적 유의성 기준(예: 총 수치의 +1.4σ, 정량적 생물학의 +8σ)을 적용하였다.

실험 결과

연구 질문

• RQ1 코로나19 패닉은 arXiv 프리프린트 제출 수를 통해 반영된 전체 학술 생산성에 측정 가능한 변화를 초래했는가?
• RQ2 학술 회의 취소 및 실험실 폐쇄와 같은 분야별 혼란은 다양한 연구 분야의 프리프린트 출력에 어떤 영향을 미쳤는가?
• RQ3 코로나19 패닉 관련 프리프린트의 급증은 크기와 기원이 어떻게 되었는가? 특히 정량적 생물학 분야에서의 경우.
• RQ4 집계된 프리프린트 추세는 개인 연구자나 공동체 수준에서의 영향에 대한 불균형한 영향을 어느 정도 가려내는가?
• RQ5 가우시안 프로세스와 ARIMA와 같은 통계 모델은 프리프린트 제출 패턴의 기초 추세를 어느 정도 잘 반영하는가?

주요 결과

• 2020년 arXiv에 제출된 총 프리프린트 수는 168,630건으로, 모델 예측치 162,577 ± 4,393에 비해 +12.6% 증가했으며, 이는 +1.4σ의 이격에 해당한다.
• 가장 두드러진 이격은 정량적 생물학 분야에서 발생했으며, 프리프린트 수가 50% 증가했고, 이는 +8σ의 이격에 해당한다. 이 분야의 연구 중 20%가 코로나19와 관련된 것으로 나타났다.
• 격자 물리학(hep-lat) 분야는 국제 격자 양자장 이론 학술대회 취소로 2020년에 프리프린트 수가 급격히 감소했으며, 이는 일반적으로 12월에 피크를 보이는 특성 때문이었다.
• 고에너지 물리학(hep-ex) 분야는 예측치 대비 20% 적은 프리프린트 수를 기록했으며, 이는 실험실 폐쇄 및 실험 데이터 접근 제한으로 인한 것으로 보인다.
• 가우시안 프로세스 모델은 hep-lat 분야의 감소 추세를 더 잘 반영하여 ARIMA 모델보다 성능이 뛰어났으며, 이는 비정상적인 계절적 패턴을 더 잘 모델링할 수 있음을 시사한다.
• 분야 수준의 혼란에도 불구하고 전체 학술 생산성은 안정을 유지했으며, 이는 대부분의 분야에서 패닉으로 인한 연구 출력의 체계적 감소가 발생하지 않았음을 의미한다.