[论文解读] Do open citations inform the qualitative peer-review evaluation in research assessments? An analysis of the Italian National Scientific Qualification.

Federica Bologna, Angelo Di Iorio+2 more|arXiv (Cornell University)|Mar 14, 2021

scientometrics and bibliometrics research参考文献 46被引用 5

一句话总结

本研究调查了开放引文数据是否能为意大利国家科学资格评定（NSQ）中学术职位任命的定性同行评审提供信息支持，特别是在非引文依赖学科（NDs）中。通过使用基于NSQ决策训练的机器学习模型，研究发现候选人与评审委员会之间的引文关系强度显著影响NDs中的同行评审结果。

ABSTRACT

In the past, several works have investigated ways for combining quantitative and qualitative methods in research assessment exercises. Indeed, the Italian National Scientific Qualification (NSQ), i.e. the national assessment exercise which aims at deciding whether a scholar can apply to professorial academic positions as Associate Professor and Full Professor, adopts a quantitative and qualitative evaluation process: it makes use of bibliometrics followed by a peer-review process of candidates' CVs. The NSQ divides academic disciplines into two categories, i.e. citation-based disciplines (CDs) and non-citation-based disciplines (NDs), a division that affects the metrics used for assessing the candidates of that discipline in the first part of the process, which is based on bibliometrics. In this work, we aim at exploring whether citation-based metrics, calculated only considering open bibliographic and citation data, can support the human peer-review of NDs and yield insights on how it is conducted. To understand if and what citation-based (and, possibly, other) metrics provide relevant information, we created a series of machine learning models to replicate the decisions of the NSQ committees. As one of the main outcomes of our study, we noticed that the strength of the citational relationship between the candidate and the commission in charge of assessing his/her CV seems to play a role in the peer-review phase of the NSQ of NDs.

研究动机与目标

• 评估开放书目和引文数据是否能支持研究评估中的定性同行评审。
• 调查引文指标在意大利国家科学资格评定（NSQ）中非引文依赖学科（NDs）内的作用。
• 确定基于NSQ决策训练的机器学习模型是否能复现人类评审委员会的评估结果。
• 分析候选人与评审委员会之间引文联系的强度如何影响NDs中的同行评审结果。
• 评估开放书目和引文数据在研究评估定性评估过程中的信息价值。

提出的方法

• 本研究分析意大利国家科学资格评定（NSQ），这是一种包含文献计量学评估与同行评审的双重评估流程。
• 将学术学科划分为引文依赖学科（CDs）与非引文依赖学科（NDs），以比较评估动态差异。
• 提取并使用开放书目与引文数据，计算候选人的引文指标。
• 训练机器学习模型，基于候选人简历与引文数据预测NSQ评审委员会的决策。
• 模型评估各类指标的预测能力，包括候选人与评审员之间引文联系的强度。
• 通过统计分析评估引文关系在塑造同行评审结果中的显著性，尤其在NDs中。

实验结果

研究问题

• RQ1 开放引文数据能否提升研究评估中定性同行评审的透明度与一致性？
• RQ2 从开放数据中得出的引文指标在多大程度上能预测非引文依赖学科（NDs）的评估结果？
• RQ3 候选人与评审委员会之间的引文关系强度在NDs中如何影响同行评审决策？
• RQ4 基于NSQ数据训练的机器学习模型能否准确复现人类评审委员会的决策？
• RQ5 开放书目与引文数据在定性评估过程中发挥何种作用？

主要发现

• 候选人与评审委员会之间引文关系的强度显著影响非引文依赖学科（NDs）中的同行评审结果。
• 开放引文数据为定性评估过程提供了有意义的信息，尤其在传统上不使用文献计量学的NDs中。
• 基于NSQ数据训练的机器学习模型成功复现了评审委员会的决策，表明从结构化数据中可学习到评估模式。
• 从开放数据中得出的引文指标在传统上不依赖文献计量学的学科中显示出预测价值。
• 研究结果表明，将开放引文数据整合到同行评审中，可提升研究评估的公平性与透明度。
• 本研究揭示，即使在正式排除引文指标的学科中，机构与个人引文联系在定性评估中也发挥了可测量的作用。