[论文解读] Citations Systematically Misrepresent the Quality and Impact of Research Articles: Survey and Experimental Evidence from Thousands of Citers

Misha Teplitskiy, Eamon Duede+2 more|arXiv (Cornell University)|Feb 24, 2020

scientometrics and bibliometrics research参考文献 15被引用 9

一句话总结

本研究揭示，引文数量系统性地扭曲了对研究质量和影响力的感知。通过对15个学科领域中的12,670名作者进行调查，研究发现引文行为存在偏见：高引文数量导致对低引文论文的质量被高估，而高引文论文则因频繁被用作次要或无影响的参考文献而被低估其影响力。

ABSTRACT

Citations are ubiquitous in evaluating research, but how exactly they relate to what they are thought to measure (quality and intellectual impact) is unclear. We investigate the relationships between citations, quality, and impact using a survey with an embedded experiment in which 12,670 authors in 15 academic fields describe about 25K specific referencing decisions. Results suggest that citation counts, when equated with quality and impact, are biased in opposite directions. First, experimentally exposing papers' actual citation counts during the survey causes respondents to perceive all but the top 10% cited papers as of lower quality. Because perceptions of quality are a key factor in citing decisions, citation counts are likely to endogenously cause more citing of top papers and equating them with quality overestimates the actual quality of those papers. Conversely, 54% of references had either zero or minor influence on authors who cite them, but references to highly cited papers were about 200% more likely to denote substantial impact. Equating citations with impact thus underestimates the impact of highly cited papers. Real citation practices thus reveal that citations are biased measures of quality and impact.

研究动机与目标

• 调查引文数量如何影响研究人员对被引论文质量及学术影响力的看法。
• 考察引文数量与实际影响力在引文决策中脱节的程度。
• 评估将引文等同于质量或影响力是否导致研究评价中的系统性偏见。
• 理解引文可见性在塑造作者引文行为及被引作品感知价值方面的作用。

提出的方法

• 在15个学术领域对12,670名作者开展大规模调查，收集其引文决策数据。
• 在调查中嵌入实验，使参与者接触到被引论文的实际引文数量。
• 收集被引作品的感知质量与影响力数据，区分零影响、次要影响和实质性影响。
• 使用多元回归模型分析引文数量与感知质量/影响力之间的关系。
• 根据影响力水平（零、次要、实质性）对引文决策进行分类，以评估影响力偏见。
• 使用领域层面的控制变量，以考虑不同学科领域在引文实践和评价规范上的差异。

实验结果

研究问题

• RQ1 实际引文数量在多大程度上影响研究人员对被引论文质量的感知？
• RQ2 引文在多大程度上反映了对引用作品的实质性学术影响，而非仅是次要或无影响？
• RQ3 引文数量的可见性如何导致对研究质量和影响力的评估偏见？
• RQ4 为何高引文数量的论文尽管引用频率高，其感知影响力却较低？

主要发现

• 在调查过程中向受访者展示实际引文数量后，除排名前10%的被引论文外，其余所有论文均被感知为质量更低，表明对高引文论文存在质量高估的偏见。
• 所有引用中54%对引用作者的智力内容不产生任何或仅产生次要影响，表明大多数引用并未实质性贡献于引用作品的学术内容。
• 对高引文论文的引用比对低引文论文的引用更可能表示实质性学术影响，其可能性高出约200%。
• 由于内生性引文动态（可见性驱动进一步引用），引文数量系统性高估了顶级被引论文的质量。
• 将引文等同于影响力会低估高引文论文的真实影响力，因为许多引文在学术上并不具实质性影响。
• 本研究证明，引文指标作为质量和影响力的代理指标存在缺陷，且偏见方向因引文频率而异。