[论文解读] Investigation of Partition Cells as a Structural Basis Suitable for Assessments of Individual Scientists

Nadine Rons|arXiv (Cornell University)|Sep 8, 2014

scientometrics and bibliometrics research参考文献 15被引用 5

一句话总结

本文研究了分区单元——即细粒度的学科类别交叉——作为评估个体科学家科研表现的结构基础。基于欧洲研究委员会（ERC）资助获得者的数据，研究证明分区单元更能准确反映个体的出版专业化特征，并提供比更广泛的学科类别或时间/引用窗口指标更精确、更稳定的引用基准参考值。

ABSTRACT

Individual, excellent scientists have become increasingly important in the research funding landscape. Accurate bibliometric measures of an individual's performance could help identify excellent scientists, but still present a challenge. One crucial aspect in this respect is an adequate delineation of the sets of publications that determine the reference values to which a scientist's publication record and its citation impact should be compared. The structure of partition cells formed by intersecting fixed subject categories in a database has been proposed to approximate a scientist's specialty more closely than can be done with the broader subject categories. This paper investigates this cell structure's suitability as an underlying basis for methodologies to assess individual scientists, from two perspectives: (1) Proximity to the actual structure of publication records of individual scientists: The distribution and concentration of publications over the highly fragmented structure of partition cells are examined for a sample of ERC grantees; (2) Proximity to customary levels of accuracy: Differences in commonly used reference values (mean expected number of citations per publication, and threshold number of citations for highly cited publications) between adjacent partition cells are compared to differences in two other dimensions: successive publication years and successive citation window lengths. Findings from both perspectives are in support of partition cells rather than the larger subject categories as a journal based structure on which to construct and apply methodologies for the assessment of highly specialized publication records such as those of individual scientists.

研究动机与目标

• 解决在科研资助背景下准确评估个体科学家的挑战。
• 识别使用宽泛学科类别进行个体科研表现基准化时的局限性。
• 评估通过固定学科类别交叉形成的细粒度分区单元是否能更好地近似个体科学家的科研专业化特征。
• 评估基于分区单元得出的引用基准参考值（如每篇论文平均引用次数、高被引论文阈值）的稳定性和准确性。
• 将分区单元与传统参考维度（连续发表年份和引用窗口长度）进行比较。

提出的方法

• 通过在书目数据库中交叉固定学科类别构建分区单元，形成高度细化的分类结构。
• 分析一组ERC资助获得者的出版物在这些单元中的分布情况，以评估其与个体科学家科研档案的结构一致性。
• 在相邻分区单元内计算参考值（每篇论文平均引用次数和高被引论文阈值）。
• 将这些参考值在分区单元间的变异性与在连续发表年份或引用窗口长度间的变异性进行比较。
• 使用统计比较方法评估分区单元与实际出版模式及书目评估中既定准确度水平的接近程度。

实验结果

研究问题

• RQ1 分区单元在多大程度上反映了个体科学家科研专业化领域内实际的出版物分布？
• RQ2 相邻分区单元之间的引用参考值（每篇论文平均引用次数和高被引论文阈值）与发表年份或引用窗口长度之间的差异相比，其变化程度如何？
• RQ3 与更广泛的学科类别相比，分区单元结构是否更适合用于基准化个体科学家的表现？
• RQ4 使用分区单元是否能带来更稳定和准确的书目评估结果？
• RQ5 分区单元能否作为评估高度专业化科研产出的方法论的可靠结构基础？

主要发现

• 分区单元中出版物的分布与个体科学家的实际出版模式高度一致，表明其具有较强的结构匹配性。
• 相邻分区单元之间参考值（每篇论文平均引用次数和高被引论文阈值）的差异显著小于在连续发表年份或引用窗口长度之间观察到的差异。
• 分区单元在基准化方面表现出更高的稳定性和精确度，表明其在评估个体科研表现方面具有更高的准确性。
• 本研究证实，分区单元在近似科学家真实科研专长方面优于更广泛的学科类别。
• 与传统的基于时间或类别的参考维度相比，分区单元为个体科学家的书目评估提供了更可靠、更具情境敏感性的结构基础。
• 研究结果支持将分区单元作为资助和政策背景下个性化科研评估的基础结构加以采用。