[논문 리뷰] Citation Counting, Citation Ranking, and h-Index of Human-Computer Interaction Researchers: A Comparison between Scopus and Web of Science

Lokman I. Meho, Yvonne Rogers|ArXiv.org|2008. 03. 12.

scientometrics and bibliometrics research참고 문헌 40인용 수 7

한 줄 요약

이 연구는 22명의 주요 HCI 연구자를 대상으로 Scopus와 Web of Science의 인용 영향을 비교하여, 특히 회의 발표 논문을 포함한 더 넓은 커버리지 덕분에 Scopus가 더 세분화된 h-인덱스 및 인용 순위를 제공함을 발견했다. 저널 인용 수는 유사했지만, Scopus는 더 구체적이고 다릅니다. 인용 네트워크 시각화는 더 풍부하며, 특히 회의 논문 인용이 중요한 HCI 연구 평가에서는 별도의 자료로 Scopus를 권장한다.

ABSTRACT

This study examines the differences between Scopus and Web of Science in the citation counting, citation ranking, and h-index of 22 top human-computer interaction (HCI) researchers from EQUATOR--a large British Interdisciplinary Research Collaboration project. Results indicate that Scopus provides significantly more coverage of HCI literature than Web of Science, primarily due to coverage of relevant ACM and IEEE peer-reviewed conference proceedings. No significant differences exist between the two databases if citations in journals only are compared. Although broader coverage of the literature does not significantly alter the relative citation ranking of individual researchers, Scopus helps distinguish between the researchers in a more nuanced fashion than Web of Science in both citation counting and h-index. Scopus also generates significantly different maps of citation networks of individual scholars than those generated by Web of Science. The study also presents a comparison of h-index scores based on Google Scholar with those based on the union of Scopus and Web of Science. The study concludes that Scopus can be used as a sole data source for citation-based research and evaluation in HCI, especially if citations in conference proceedings are sought and that h scores should be manually calculated instead of relying on system calculations.

연구 동기 및 목표

• 주요 HCI 연구자를 대상으로 Scopus와 Web of Science 간 인용 수 계산, 인용 순위, h-인덱스를 평가하고 비교하기.
• Scopus의 더 넓은 데이터베이스 커버리지가 연구자 영향력 지표에 의미 있는 영향을 미치는지 평가하기.
• 시스템에서 생성한 h-인덱스 값과 수동으로 계산한 값 간의 신뢰성과 일관성 검토하기.
• 개별 학자에 대해 두 데이터베이스에서 생성된 인용 네트워크 지도의 차이점 분석하기.
• Scopus와 Web of Science의 h-인덱스 점수를 두 데이터베이스의 결합 데이터를 기준으로 Google Scholar와 비교하기.

제안 방법

• 분석을 위해 EQUATOR 프로젝트에서 선정한 22명의 주요 HCI 연구자 선정.
• Scopus, Web of Science, Google Scholar에서 인용 수 및 h-인덱스 값 수집.
• 회의 발표 논문의 영향을 분리하기 위해 저널 중심 인용에 집중하여 인용 데이터 비교.
• 두 데이터베이스를 사용해 각 연구자의 인용 네트워크 시각화를 생성하고 비교.
• 수동으로 h-인덱스 계산하여 시스템에서 보고한 값과 정확도 평가.
• Google Scholar 비교를 위한 기준 표준으로 Scopus와 Web of Science 데이터의 결합을 사용.

실험 결과

연구 질문

• RQ1 Scopus와 Web of Science 간 HCI 연구자의 인용 수와 h-인덱스는 어떻게 비교되는가?
• RQ2 Scopus가 더 넓은 회의 발표 논문 커버리지를 제공함에 따라 Web of Science 대비 인용 순위와 h-인덱스 점수가 유의미하게 달라지는가?
• RQ3 개별 학자에 대해 Scopus와 Web of Science에서 생성된 인용 네트워크 지도에 뚜렷한 차이가 있는가?
• RQ4 Scopus와 Web of Science에서 시스템이 보고한 h-인덱스 값은 수동 계산된 값과 어떻게 비교되는가?
• RQ5 Google Scholar의 h-인덱스 점수는 Scopus와 Web of Science 데이터의 결합에서 유도된 점수와 어떻게 비교되는가?

주요 결과

• Scopus는 Web of Science에 비해 HCI 문헌에 훨씬 더 넓은 커버리지를 제공하며, 주로 관련된 ACM 및 IEEE 회의 발표 논문 포함 덕분이다.
• 두 데이터베이스 간 저널 중심 인용만 비교했을 때는 인용 수나 h-인덱스에 유의미한 차이가 없었다.
• 더 넓은 커버리지 덕분에 Scopus는 Web of Science보다 더 세분화되고 구체적인 인용 순위와 h-인덱스 값을 제공한다.
• Scopus는 개별 학자에 대해 Web of Science와는 상당히 다른 인용 네트워크 지도를 생성하여 네트워크 구조의 상이함을 보여준다.
• Scopus와 Web of Science에서 시스템이 보고한 h-인덱스 값은 수동 계산된 값과 다름을 보이며, 자동 계산의 잠재적 오류를 시사한다.
• Scopus와 Web of Science 데이터의 결합에서 유도된 h-인덱스는 신뢰할 수 있는 기준이 되며, 특히 회의 논문 인용이 중요한 HCI 연구 평가에서는 Scopus만으로도 충분하다.