[논문 리뷰] Do open citations inform the qualitative peer-review evaluation in research assessments? An analysis of the Italian National Scientific Qualification.

Federica Bologna, Angelo Di Iorio외 2명|arXiv (Cornell University)|2021. 03. 14.

scientometrics and bibliometrics research참고 문헌 46인용 수 5

한 줄 요약

이 연구는 이탈리아의 학술 채용을 위한 국가 과학 자격 평가(NSQ)에서 개방형 인용 데이터가 비인용 기반 분야(NDs)에서 질적 동료 평가에 영향을 줄 수 있는지 조사한다. 기계학습 모델을 사용하여 NSQ 결론을 학습시킨 결과, 지원자와 심사위원회 간의 인용 관계 강도가 NDs에서 동료 평가 결과에 영향을 미친다.

ABSTRACT

In the past, several works have investigated ways for combining quantitative and qualitative methods in research assessment exercises. Indeed, the Italian National Scientific Qualification (NSQ), i.e. the national assessment exercise which aims at deciding whether a scholar can apply to professorial academic positions as Associate Professor and Full Professor, adopts a quantitative and qualitative evaluation process: it makes use of bibliometrics followed by a peer-review process of candidates' CVs. The NSQ divides academic disciplines into two categories, i.e. citation-based disciplines (CDs) and non-citation-based disciplines (NDs), a division that affects the metrics used for assessing the candidates of that discipline in the first part of the process, which is based on bibliometrics. In this work, we aim at exploring whether citation-based metrics, calculated only considering open bibliographic and citation data, can support the human peer-review of NDs and yield insights on how it is conducted. To understand if and what citation-based (and, possibly, other) metrics provide relevant information, we created a series of machine learning models to replicate the decisions of the NSQ committees. As one of the main outcomes of our study, we noticed that the strength of the citational relationship between the candidate and the commission in charge of assessing his/her CV seems to play a role in the peer-review phase of the NSQ of NDs.

연구 동기 및 목표

• 개방형 문헌학적 및 인용 데이터가 연구 평가에서 질적 동료 평가를 지원할 수 있는지 평가하기.
• 이탈리아의 국가 과학 자격(NSQ) 내 비인용 기반 분야(NDs)에서 인용 기반 지표의 역할을 조사하기.
• NSQ 결론을 기반으로 학습된 기계학습 모델이 인간 심사위원회 평가를 정확히 재현할 수 있는지 확인하기.
• 지원자와 심사위원회 간의 인용 유대관계 강도가 비인용 기반 분야(NDs)에서 동료 평가 결과에 어떻게 영향을 미치는지 분석하기.
• 개방형 문헌학적 및 인용 데이터가 연구 평가의 질적 평가 과정에 의미 있는 통찰을 제공하는지 평가하기.

제안 방법

• 이 연구는 문헌학적 지표 이후 동료 평가를 포함하는 双중 프로세스인 이탈리아 국가 과학 자격(NSQ)을 분석한다.
• 평가 동역학을 비교하기 위해 학문 분야를 인용 기반( CDs )과 비인용 기반( NDs )으로 분류한다.
• 개방형 문헌학적 및 인용 데이터를 추출하여 지원자에 대한 인용 기반 지표를 계산한다.
• 지원자 이력서와 인용 데이터를 기반으로 NSQ 심사위원회 결정을 예측하기 위해 기계학습 모델을 학습시킨다.
• 다양한 지표의 예측 능력을 평가하며, 특히 지원자와 심사위원 간의 인용 연결 강도를 포함한다.
• 통계적 분석을 통해 인용 관계의 유의미성, 특히 NDs에서 동료 평가 결과 형성에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 개방형 인용 데이터는 연구 평가에서 질적 동료 평가의 투명성과 일관성을 향상시킬 수 있는가?
• RQ2 개방 데이터에서 유도된 인용 기반 지표는 비인용 기반 분야(NDs)에서 평가 결과를 어느 정도 예측할 수 있는가?
• RQ3 지원자와 심사위원회 간의 인용 관계 강도는 비인용 기반 분야(NDs)에서 동료 평가 결정에 어떻게 영향을 미치는가?
• RQ4 NSQ 데이터를 기반으로 학습된 기계학습 모델은 인간 심사위원회 결정을 정확히 재현할 수 있는가?
• RQ5 개방형 문헌학적 및 인용 데이터는 질적 평가 과정에 어떤 역할을 하는가?

주요 결과

• 지원자와 심사위원회 간의 인용 관계 강도는 비인용 기반 분야(NDs)에서 동료 평가 결과에 상당한 영향을 미친다.
• 개방형 인용 데이터는 특히 전통적인 문헌학적 지표가 사용되지 않는 NDs에서 질적 평가 과정에 의미 있는 정보를 기여한다.
• NSQ 데이터를 기반으로 학습된 기계학습 모델은 심사위원회 결정을 성공적으로 재현하며, 이는 평가 패턴이 구조화된 데이터에서 학습 가능하다는 것을 시사한다.
• 개방 데이터에서 유도된 인용 기반 지표는 전통적으로 문헌학적 지표에 의존하지 않는 분야에서도 예측 가치를 보인다.
• 연구 결과는 개방형 인용 데이터를 동료 평가에 통합할 경우 연구 평가의 공정성과 투명성을 향상시킬 수 있다는 점을 시사한다.
• 이 연구는 기관 및 개인의 인용 유대관계가 비록 공식적으로 인용 지표가 제외된 분야이더라도 질적 평가에서 측정 가능한 역할을 한다는 것을 드러낸다.