[论文解读] Caveats for the Use of Citation Indicators in Research and Journal Evaluations

Loet Leydesdorff|ArXiv.org|Nov 7, 2009

scientometrics and bibliometrics research被引用 15

一句话总结

本文批判了在科研评价中对引文指标的不加批判的使用，指出由于出版年龄、自引率和学科规范的差异，引文实践在期刊、学科和机构之间存在显著差异。研究显示，非Web of Science/ISI期刊——尤其是非英语语言或跨学科领域的期刊——在影响力指标方面面临系统性劣势，并提出了‘外部引文影响因子’以更准确地反映其真实影响力。

ABSTRACT

Ageing of publications, percentage of self-citations, and impact vary from journal to journal within fields of science. The assumption that citation and publication practices are homogenous within specialties and fields of science is invalid. Furthermore, the delineation of fields and among specialties is fuzzy. Institutional units of analysis and persons may move between fields or span different specialties. The match between the citation index and institutional profiles varies among institutional units and nations. The respective matches may heavily affect the representation of the units. Non-ISI journals are increasingly cornered into "transdisciplinary" Mode-2 functions with the exception of specialist journals publishing in languages other than English. An "externally cited impact factor" can be calculated for these journals. The citation impact of non-ISI journals will be demonstrated using Science and Public Policy as the example.

研究动机与目标

• 挑战科学领域和专业内部引文实践具有一致性的假设。
• 突出机构和国家间引文行为的差异如何扭曲基于引文的科研单位评价中的表现。
• 展示非Web of Science（非ISI）期刊，特别是非英语语言或跨学科领域的期刊，所面临的系统性劣势。
• 提出一种替代性指标——‘外部引文影响因子’——以更公平地评估非ISI期刊的引文影响力。
• 通过考虑引文实践在结构和学科上的差异，提升科研评价的有效性和公平性。

提出的方法

• 分析同一科学领域内及跨科学领域期刊的引文模式，识别出版年龄、自引率和影响因子的差异。
• 比较引文索引覆盖范围与机构档案，评估科研单位在引文数据库中的代表性差异。
• 提出‘外部引文影响因子’的概念，作为一种隔离外部来源引文的指标，以减少自引和内部引文网络带来的偏差。
• 以《科学与公共政策》（*Science and Public Policy*）为案例研究，实证展示主要引文索引非覆盖对期刊影响力感知的影响。
• 运用书目计量技术，比较ISI索引与非ISI期刊在跨学科及非英语语境下的引文分布和影响力指标。

实验结果

研究问题

• RQ1 在相同科学领域内的期刊之间，引文实践（包括自引和出版物老化）在多大程度上存在差异？
• RQ2 期刊索引差异（ISI与非ISI）在多大程度上影响科研机构和学者的代表性及感知影响力？
• RQ3 为何非英语和跨学科期刊在基于引文的评价体系中系统性地处于劣势？
• RQ4 ‘外部引文影响因子’能否为非Web of Science索引期刊提供更准确、更公平的影响力衡量？
• RQ5 科学领域和专业的模糊界定在多大程度上损害了引文指标在科研评价中的有效性？

主要发现

• 引文实践，包括自引率和出版物老化，在不同期刊和学科之间存在显著差异，这否定了引文行为同质性的假设。
• 引文索引覆盖范围与机构档案之间的匹配度在不同机构和国家之间存在差异，导致科研产出的代表性被扭曲。
• 非Web of Science（非ISI）期刊正日益被归入‘跨学科’角色，其在影响力指标中的可见度下降，尤其当出版语言非英语时更为明显。
• ‘外部引文影响因子’可计算于非ISI期刊，通过排除内部引文，更准确地反映其实际引文影响力。
• 以《科学与公共政策》（*Science and Public Policy*）为案例研究，本文表明主要引文数据库的非覆盖导致对期刊真实影响力的低估。
• 研究证明，引文指标并非中立的度量标准，而是受机构、语言和学科结构的影响，因此在科研评价中必须谨慎解读。