[논문 리뷰] Predicting publication productivity for researchers: a piecewise Poisson model

Zheng Xie|arXiv (Cornell University)|2019. 08. 20.

scientometrics and bibliometrics research참고 문헌 37인용 수 5

한 줄 요약

이 논문은 연구자의 이력별 출판 수로 분할된 시계열 Poisson 과정으로 연구자의 출판 생산성을 모델링함으로써 연구자의 출판 생산성을 예측하기 위한 조각별 포아송 모델을 제안한다. 이 모델은 시간과 이전 출판량에 대한 회귀를 활용하여 강력한 예측 능력을 보이며, 개별 연구자의 자기상관성이 낮더라도 dblp 데이터셋에서 그룹 수준의 추세와 분포 패턴 예측에 효과적이다.

ABSTRACT

Predicting the scientific productivity of researchers is a basic task for academic administrators and funding agencies. This study provided a model for the publication dynamics of researchers, inspired by the distribution feature of researchers' publications in quantity. It is a piecewise Poisson model, analyzing and predicting the publication productivity of researchers by regression. The principle of the model is built on the explanation for the distribution feature as a result of an inhomogeneous Poisson process that can be approximated as a piecewise Poisson process. The model's principle was validated by the high quality dblp dataset, and its effectiveness was testified in predicting the publication productivity for majority of researchers and the evolutionary trend of their publication productivity. Tests to confirm or disconfirm the model are also proposed. The model has the advantage of providing results in an unbiased way; thus is useful for funding agencies that evaluate a vast number of applications with a quantitative index on publications.

연구 동기 및 목표

• 인용 기반 지표나 자기상관 패턴에 의존하지 않는 연구자의 출판 생산성 예측 모델을 개발하는 것.
• 연구자의 출판 궤적 예측 불가능성 문제를 해결하기 위해 출판 동역학의 구조적 패턴을 규명하는 것.
• 이전 출판 수에 따라 연구자를 분할하는 조각별 포아송 과정 기반 모델을 검증하는 것.
• 자금 지원 기관이 출판 잠재력을 평가하기 위해 사용할 수 있는 확장 가능하고 편향 없는 정량적 도구를 제공하는 것.
• 모델의 효과성을 연구자 집단의 출판 수 변화 추세와 분포 특성 예측에 대해 테스트하는 것.

제안 방법

• 모델은 주어진 시점에서의 누적 출판 수에 따라 연구자를 그룹으로 분할하며, 각 그룹이 포아송 과정을 따른다고 가정한다.
• 각 그룹에 대해, 향후 짧은 간격 동안의 출판 수는 시간과 이전 출판량에 의존하는 비율 매개변수를 가진 포아송 분포로 모델링된다.
• 비율 매개변수를 시간과 이력 출판 수의 함수로 추정하기 위해 회귀 분석을 적용하여 향후 생산성 예측이 가능해진다.
• 모델의 타당성은 dblp 데이터셋을 사용하여 검증되며, 누적 출판 시리즈의 자기상관성과 경험적 출판 분포에 대한 적합도를 중심으로 분석된다.
• 평가 방법으로 두 가지 접근 방식을 사용한다: (1) 개별 연구자의 출판 생산성 변화 예측, (2) 연구자 전체에 대한 출판 수 분포에 대한 적합도 평가.
• 자기상관성이 낮은 개별 출판 시리즈에서 효과를 보이지 않는 자동회귀 모델과의 비교를 통해 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 개별 연구자의 누적 출판 시간 시리즈에서 자기상관성이 낮음에도 불구하고 출판 생산성을 효과적으로 예측할 수 있는가?
• RQ2 이전 출판 수에 따라 연구자를 분할했을 때, 향후 출판 빈도에 일관된 포아송 유사 패턴이 드러나는가?
• RQ3 조각별 포아송 모델이 자동회귀 모델보다 출판 생산성을 더 잘 예측할 수 있는가?
• RQ4 모델이 연구자 집단의 출판 수 변화 추세와 분포 형태를 어느 정도 잘 반영하는가?
• RQ5 개별 궤적이 예측 불가능할 경우에도 모델이 편향 없이 그룹 수준의 예측을 제공할 수 있는가?

주요 결과

• 개별 연구자의 누적 출판 시리즈에서 1 이상의 지연(라그)에 대한 자기상관 계수는 항상 0.5 이하로 유지되어 자동회귀 기반 예측이 어려운 것으로 나타났다.
• 유사한 이력 출판 수를 가진 연구자들은 짧은 시간 간격 동안 출판 패턴이 포아송 분포에 매우 가까이 따르며, 이는 조각별 포아송 모델의 가정을 지지한다.
• 모델은 dblp 데이터셋 내 연구자 집단의 출판 생산성 변화 추세와 전체 출판 수 분포를 모두 성공적으로 예측하였다.
• 개별 연구자 수준의 예측 가능성이 낮더라도 모델의 예측 능력은 강력하며, 이는 그룹 수준의 패턴이 안정적이고 분석 가능하다는 것을 시사한다.
• 모델은 자금 지원 기관이 정량적 출판 지표를 기반으로 대규모 평가를 수행할 수 있도록 편향 없는, 회귀 기반의 예측을 제공한다.
• 연구는 출판 수에 강한 자기상관성이 없어 자동회귀 모델이 불가능하다는 점을 확인하였지만, 출판 동역학의 구조적 모델링을 통해 예측이 가능하다는 점을 입증하였다.