[论文解读] Citation Counting, Citation Ranking, and h-Index of Human-Computer Interaction Researchers: A Comparison between Scopus and Web of Science

Lokman I. Meho, Yvonne Rogers|ArXiv.org|Mar 12, 2008

scientometrics and bibliometrics research参考文献 40被引用 7

一句话总结

本研究比较了Scopus与Web of Science在衡量22位顶尖人机交互（HCI）研究人员引文影响力方面的表现，发现Scopus在覆盖范围上显著更广，尤其在收录会议论文方面优势明显，从而提供了更细致的h指数和引文排名。尽管在期刊引文数量上两者相似，但Scopus能生成更详细且更具区分度的引文网络可视化图谱，因此当会议论文引文至关重要时，建议将Scopus作为独立数据库用于HCI研究评估。

ABSTRACT

This study examines the differences between Scopus and Web of Science in the citation counting, citation ranking, and h-index of 22 top human-computer interaction (HCI) researchers from EQUATOR--a large British Interdisciplinary Research Collaboration project. Results indicate that Scopus provides significantly more coverage of HCI literature than Web of Science, primarily due to coverage of relevant ACM and IEEE peer-reviewed conference proceedings. No significant differences exist between the two databases if citations in journals only are compared. Although broader coverage of the literature does not significantly alter the relative citation ranking of individual researchers, Scopus helps distinguish between the researchers in a more nuanced fashion than Web of Science in both citation counting and h-index. Scopus also generates significantly different maps of citation networks of individual scholars than those generated by Web of Science. The study also presents a comparison of h-index scores based on Google Scholar with those based on the union of Scopus and Web of Science. The study concludes that Scopus can be used as a sole data source for citation-based research and evaluation in HCI, especially if citations in conference proceedings are sought and that h scores should be manually calculated instead of relying on system calculations.

研究动机与目标

• 评估并比较Scopus与Web of Science在22位顶尖HCI研究人员中的引文计数、引文排名及h指数表现。
• 评估Scopus更广泛的数据库覆盖是否对研究人员影响力指标产生实质性影响。
• 检验系统生成的h指数值与人工计算值之间的可靠性与一致性。
• 探究针对个别学者，Scopus与Web of Science生成的引文网络图谱有何差异。
• 将Scopus与Web of Science的h指数得分与以两者数据并集为基准的Google Scholar结果进行比较。

提出的方法

• 从EQUATOR项目中选取22位领先的HCI研究人员作为分析对象。
• 从Scopus、Web of Science和Google Scholar中收集引文计数与h指数值。
• 通过仅关注期刊引文，比较引文数据以隔离会议论文的影响。
• 利用两个数据库为个别研究人员生成并比较引文网络可视化图谱。
• 人工计算h指数，并与系统报告的数值进行对比，以评估准确性。
• 将Scopus与Web of Science数据的并集作为Google Scholar比较的参考标准。

实验结果

研究问题

• RQ1 Scopus与Web of Science在HCI研究人员的引文计数与h指数方面有何差异？
• RQ2 与Web of Science相比，Scopus更广泛的会议论文覆盖是否显著改变了引文排名与h指数得分？
• RQ3 Scopus与Web of Science为个别学者生成的引文网络图谱是否存在显著差异？
• RQ4 Scopus与Web of Science系统报告的h指数值与人工计算值相比如何？
• RQ5 Google Scholar的h指数得分与基于Scopus与Web of Science数据并集得出的h指数相比如何？

主要发现

• Scopus在HCI文献覆盖方面显著优于Web of Science，主要得益于其收录了相关ACM与IEEE会议论文。
• 当仅比较期刊引文时，两个数据库在引文计数或h指数方面无显著差异。
• 由于覆盖范围更广，Scopus生成的引文排名与h指数值比Web of Science更具细致性与区分度。
• Scopus为个别学者生成的引文网络图谱与Web of Science存在显著差异，表明其网络结构不同。
• Scopus与Web of Science系统报告的h指数值与人工计算值存在差异，提示自动化计算可能存在误差。
• 基于Scopus与Web of Science数据并集的h指数可作为可靠基准，且当会议论文引文至关重要时，仅使用Scopus已足够支持基于引文的HCI研究评估。