[论文解读] How journal rankings can suppress interdisciplinarity. The case of innovation studies in business and management

Ismael Ràfols, Loet Leydesdorff+3 more|arXiv (Cornell University)|May 6, 2011

scientometrics and bibliometrics research被引用 16

一句话总结

本研究利用引文与出版数据，证明期刊排名系统性地偏袒单一学科研究，因其偏爱学科范围更窄的期刊，从而对跨学科创新研究单位造成不利影响。关键发现是，工商管理学院获得更优的绩效评估并非因其研究质量更高，而是由于期刊排名体系中存在结构性偏见，低估了跨学科研究的价值。

ABSTRACT

This study provides quantitative evidence on how the use of journal rankings can disadvantage interdisciplinary research in research evaluations. Using publication and citation data, it compares the degree of interdisciplinarity and the research performance of a number of Innovation Studies units with that of leading Business & Management schools in the UK. On the basis of various mappings and metrics, this study shows that: (i) Innovation Studies units are consistently more interdisciplinary in their research than Business & Management schools; (ii) the top journals in the Association of Business Schools' rankings span a less diverse set of disciplines than lower-ranked journals; (iii) this results in a more favourable assessment of the performance of Business & Management schools, which are more disciplinary-focused. This citation-based analysis challenges the journal ranking-based assessment. In short, the investigation illustrates how ostensibly 'excellence-based' journal rankings exhibit a systematic bias in favour of mono-disciplinary research. The paper concludes with a discussion of implications of these phenomena, in particular how the bias is likely to affect negatively the evaluation and associated financial resourcing of interdisciplinary research organisations, and may result in researchers becoming more compliant with disciplinary authority over time.

研究动机与目标

• 调查期刊排名如何影响学术绩效评估中对跨学科研究的评价。
• 比较英国创新研究单位与工商管理学院在跨学科性与研究绩效方面的差异。
• 评估研究评估中使用的期刊排名体系是否系统性地偏爱单一学科研究而非跨学科研究。
• 探讨此类偏见对资金分配及机构遵守学科规范的影响。

提出的方法

• 对英国创新研究与工商管理领域研究单位的出版与引文数据进行定量分析。
• 使用基于引文的指标，评估不同学科分类的研究绩效。
• 通过研究单位引用的期刊，绘制期刊的学科多样性图谱，以评估其学科参与的广度。
• 将期刊排名（如英国商学院协会排名）与期刊实际的学科多样性进行比较，以识别偏见。
• 应用指标比较创新研究与工商管理单位之间的跨学科性水平。
• 分析排名体系如何在研究范围与合作模式存在差异的情况下，影响绩效评估结果。

实验结果

研究问题

• RQ1 英国的创新研究单位在多大程度上比工商管理学院更具跨学科性？
• RQ2 英国商学院协会排名中，顶级期刊的学科多样性与较低排名期刊相比如何？
• RQ3 期刊排名在多大程度上扭曲了对研究绩效的评估，从而偏袒单一学科研究？
• RQ4 这些偏见对跨学科研究单位的资金获取与机构定位有何影响？

主要发现

• 创新研究单位在跨学科性方面始终表现出高于工商管理学院的水平。
• 英国商学院协会排名中，顶级期刊的学科多样性低于排名较低的期刊。
• 基于引文的绩效评估显示，由于期刊排名体系中的结构性偏见，工商管理学院获得了更有利的评价。
• 期刊排名通过偏爱学科范围更窄的期刊，系统性地偏袒单一学科研究。
• 期刊排名中的偏见导致以学科为导向的研究获得不公平优势，从而扭曲了绩效评估。
• 这种系统性偏见可能抑制跨学科研究的发展，并对研究人员施加压力，迫使其迎合学科规范以获取资金与认可。