[论文解读] Manipulating Google Scholar Citations and Google Scholar Metrics: simple, easy and tempting

Emilio Delgado López‐Cózar, Nicolás Robinson‐García+1 more|arXiv (Cornell University)|Dec 4, 2012

scientometrics and bibliometrics research参考文献 14被引用 72

一句话总结

本文展示了如何通过创建伪造的作者档案并上传虚假引用文献，轻易操纵谷歌学术引用与指标。通过上传六篇虚假文献引用某研究团队的工作，作者们使引用次数增加了774次，并提升了H指数，暴露了该系统在完整性和缺乏验证机制方面的严重漏洞。

ABSTRACT

The launch of Google Scholar Citations and Google Scholar Metrics may provoke a revolution in the research evaluation field as it places within every researchers reach tools that allow bibliometric measuring. In order to alert the research community over how easily one can manipulate the data and bibliometric indicators offered by Google s products we present an experiment in which we manipulate the Google Citations profiles of a research group through the creation of false documents that cite their documents, and consequently, the journals in which they have published modifying their H index. For this purpose we created six documents authored by a faked author and we uploaded them to a researcher s personal website under the University of Granadas domain. The result of the experiment meant an increase of 774 citations in 129 papers (six citations per paper) increasing the authors and journals H index. We analyse the malicious effect this type of practices can cause to Google Scholar Citations and Google Scholar Metrics. Finally, we conclude with several deliberations over the effects these malpractices may have and the lack of control tools these tools offer

研究动机与目标

• 揭示谷歌学术引用与指标对研究社区操纵的脆弱性。
• 调查文献计量指标（如H指数）如何通过伪造引用被人为夸大。
• 展示谷歌学术引用索引系统中缺乏验证机制。
• 提高公众对文献计量工具在学术评估中潜在滥用的认识。

提出的方法

• 创建一个虚构作者档案，包含六篇伪造文献，引用真实研究团队的出版物。
• 将虚假文献托管在与大学关联的个人网站上，以模仿合法学术内容。
• 使用格拉纳达大学域名，为伪造引用增添可信度。
• 监控谷歌学术的索引过程，观察虚假引用如何被接受并计入。
• 测量目标作者和期刊的引用次数及H指数值的变化。
• 分析此类操纵对文献计量指标可信度的影响。

实验结果

研究问题

• RQ1 在多大程度上可以通过创建虚假引用文献来操纵谷歌学术引用？
• RQ2 伪造引用在多大程度上能有效提升研究人员和期刊在谷歌学术中的H指数？
• RQ3 谷歌学术在验证和索引过程中存在哪些系统性弱点，导致此类操纵成为可能？
• RQ4 不受控制的引用操纵对学术评估实践具有哪些更广泛的影响？
• RQ5 为何当前的文献计量工具缺乏足够的防护机制以防止此类欺诈行为？

主要发现

• 该实验通过六篇伪造文献，成功使129篇论文的总引用次数增加了774次。
• 目标研究人员及其所属期刊的H指数因操纵性引用而直接上升。
• 谷歌学术在无任何验证或审核流程的情况下，索引并计入了虚假引用。
• 该操纵通过一种简单、低成本的方法实现，无需技术专长或机构访问权限。
• 该研究揭示了谷歌学术系统在检测或防止引用欺诈方面存在严重缺乏控制机制。
• 结果凸显了在招聘、晋升或资助等高风险学术决策中依赖谷歌学术指标所带来的风险。