[论文解读] A New Era in Citation and Bibliometric Analyses: Web of Science, Scopus, and Google Scholar

Lokman I. Meho, Kiduk Yang|ArXiv.org|Dec 23, 2006

scientometrics and bibliometrics research参考文献 60被引用 142

一句话总结

本文通过对比Web of Science（WoS）评估Google Scholar与Scopus对引文指标的影响，基于图书馆与信息科学领域1,100多篇教职员工的学术作品，比较了引文数量与学者排名。研究发现，不同数据库之间的引文数量与排名存在显著差异，凸显了仅依赖WoS的局限性，并倡导采用多源引文分析以确保学术评价的公平性与准确性。

ABSTRACT

Academic institutions, federal agencies, publishers, editors, authors, and librarians increasingly rely on citation analysis for making hiring, promotion, tenure, funding, and/or reviewer and journal evaluation and selection decisions. The Institute for Scientific Information's (ISI) citation databases have been used for decades as a starting point and often as the only tools for locating citations and/or conducting citation analyses. ISI databases (or Web of Science), however, may no longer be adequate as the only or even the main sources of citations because new databases and tools that allow citation searching are now available. Whether these new databases and tools complement or represent alternatives to Web of Science (WoS) is important to explore. Using a group of 15 library and information science faculty members as a case study, this paper examines the effects of using Scopus and Google Scholar (GS) on the citation counts and rankings of scholars as measured by WoS. The paper discusses the strengths and weaknesses of WoS, Scopus, and GS, their overlap and uniqueness, quality and language of the citations, and the implications of the findings for citation analysis. The project involved citation searching for approximately 1,100 scholarly works published by the study group and over 200 works by a test group (an additional 10 faculty members). Overall, more than 10,000 citing and purportedly citing documents were examined. WoS data took about 100 hours of collecting and processing time, Scopus consumed 200 hours, and GS a grueling 3,000 hours.

研究动机与目标

• 评估Web of Science、Scopus和Google Scholar之间引文数量的可靠性与一致性。
• 考察使用替代数据库对学者排名与引文指标的影响。
• 评估从每个数据库收集引文数据所需的时间投入。
• 识别每种引文数据库在学术评价中的优势、劣势及独特覆盖范围。
• 为改善学术决策中的引文分析提供基于证据的建议。

提出的方法

• 本研究对15位图书馆与信息科学领域教职员工的1,100篇学术作品以及10位教职员工测试组的200篇额外作品进行了引文检索。
• 从Web of Science、Scopus和Google Scholar收集并处理引文数据，对引用文献及所谓引用文献进行了详细追踪。
• 研究人员比较了三个数据库之间的引文数量与学者排名，以评估一致性与重叠程度。
• 系统记录了数据收集所花费的时间：Web of Science为100小时，Scopus为200小时，Google Scholar为3,000小时。
• 研究分析了各数据库中文献的质量、语言及独特性，以评估覆盖范围与可靠性。
• 对引文的重叠性与独特性进行了对比分析，以评估各数据库的附加价值。

实验结果

研究问题

• RQ1 同一学术作品在Web of Science、Scopus和Google Scholar中的引文数量有何差异？
• RQ2 在使用Web of Science与Scopus或Google Scholar时，基于引文数量的学者排名在多大程度上存在差异？
• RQ3 从三个数据库中收集引文数据所需的时间投入是多少？
• RQ4 Web of Science、Scopus和Google Scholar在引文的覆盖范围、质量和语言方面有何不同？
• RQ5 这些差异对基于引文的学术评价（如招聘、终身教职评定和资助决策）有何影响？

主要发现

• Google Scholar的引文数量显著高于Web of Science和Scopus，部分作品在GS中的引文数量超过10倍。
• Scopus与Web of Science在引文数量上存在中等程度的重叠，但排名差异普遍存在，尤其对中等水平及新兴学者更为明显。
• 收集引文数据的时间投入在Google Scholar上远高于Web of Science（100小时）和Scopus（200小时），表明存在重大实际负担。
• Google Scholar包含更高比例的非英文及非同行评审来源，引发了对引文质量和可靠性的担忧。
• Web of Science展现出最高的引文质量与一致性，但其覆盖范围相较于Scopus，尤其是Google Scholar更为有限。
• 本研究发现，仅依赖Web of Science进行引文分析可能导致引文统计偏低，并错误地反映学术影响力，尤其对跨学科及非英文研究而言。