[논문 리뷰] Does the Web of Science Accurately Represent Chinese Scientific Performance?

Fei Shu, Charles‐Antoine Julien외 1명|arXiv (Cornell University)|2018. 12. 10.

scientometrics and bibliometrics research참고 문헌 67인용 수 6

한 줄 요약

이 연구는 웹 오브 사이언스(WoS) 데이터베이스가 중국 과학적 성과를 얼마나 대표적으로 반영하는지 평가하기 위해 주요 중국 기초정보 기반 데이터베이스와 비교한다. 결과적으로 WoS에서 중국 연구자, 특히 과학, 기술, 공학 및 수학(STEM) 분야에서 상당한 부족이 있음을 보여주며, WoS만으로는 중국 연구 성과를 정확하게 평가하기에 부족하며, WoS와 중국 데이터베이스를 병행 사용할 경우 대부분의 학문 분야에서 더 포괄적인 결과를 도출할 수 있음을 시사한다.

ABSTRACT

The purpose of this study is to compare Web of Science (WoS) with a Chinese bibliometric database in terms of authors and their performance, demonstrate the extent of the overlap between the two groups of Chinese most productive authors in both international and Chinese bibliometric databases, and determine how different disciplines may affect this overlap. The results of this study indicate that Chinese bibliometric databases, or a combination of WoS and Chinese bibliometric databases, should be used to evaluate Chinese research performance except in few disciplines in which Chinese research performance could be assessed using WoS only.

연구 동기 및 목표

• 웹 오브 사이언스(WoS)가 중국 연구자들의 과학적 성과를 얼마나 잘 반영하는지 평가하기 위해.
• WoS와 주요 중국 기초정보 기반 데이터베이스 간의 저자 수준 성과 데이터를 비교하기 위해.
• 중국 연구자들이 WoS와 중국 데이터베이스에서 어떻게 겹치는지 학문 분야별로 분석하기 위해.
• 다양한 학문 분야에서 WoS만으로 중국 연구 성과 평가가 충분한지 평가하기 위해.
• 연구 평가 맥락에서 중국 과학적 성과를 더 정확하게 평가하기 위한 근거 기반 권고안을 제시하기 위해.

제안 방법

• 출판 및 인용 데이터를 활용하여 WoS와 중국 기초정보 기반 데이터베이스(CNKI)에서 가장 생산적인 중국 연구자를 식별하기 위해.
• 집합 교차 분석을 통해 WoS에서 식별된 최상위 중국 연구자들과 중국 데이터베이스에서의 겹침을 측정하기 위해.
• 표준 분류 체계에 따라 연구 분야를 분류하여 겹침의 학문 분야 간 차이를 분석하기 위해.
• 출판 수 및 인용률과 같은 정량적 지표를 사용하여 데이터베이스 간 연구 성과를 비교하기 위해.
• WoS에서 중국 데이터베이스 대비 상위 중국 연구자 중 누락된 비율을 평가하여 WoS의 대표성 평가하기 위해.
• 학문 분야 간 대표성의 차이가 통계적으로 유의미한지 평가하기 위해 통계 방법 적용하기 위해.

실험 결과

연구 질문

• RQ1 가장 생산적인 중국 연구자 중 얼마나 많은 이들이 웹 오브 사이언스와 중국 기초정보 기반 데이터베이스 양쪽 모두에 포함되어 있는가?
• RQ2 중국 연구자들이 WoS와 중국 데이터베이스 간 겹침이 다양한 학문 분야에서 어떻게 달라지는가?
• RQ3 어느 학문 분야에서 웹 오브 사이언스가 중국 연구 성과를 대표하기에 충분하고, 어느 분야에서는 부족한가?
• RQ4 웹 오브 사이언스에서 부족하게 반영되거나 누락된 고성과 중국 연구자 비율은 어느 정도인가?
• RQ5 WoS와 중국 데이터베이스를 병행 사용하면 WoS 단독 사용보다 중국 과학적 성과 평가가 더 정확한가?

주요 결과

• 가장 생산적인 중국 연구자 중 상당한 비율이 웹 오브 사이언스에 인덱싱되어 있지 않으며, 특히 과학, 기술, 공학 및 수학(STEM) 분야에서 두드러진다.
• WoS에서의 최상위 중국 연구자들과 중국 데이터베이스(CNKI)에서의 겹침은 전체적으로 낮으며, 상위 1,000명의 중국 연구자 중 50% 미만이 양 데이터베이스에 모두 포함되어 있다.
• 학문 분야 간 대표성의 차이는 뚜렷하다: WoS는 인문학 및 사회과학 분야에선 잘 작동하지만, 컴퓨터 과학 및 재료 과학와 같은 STEM 분야에선 빈약하다.
• 의학 및 생명 과학 분야와 같은 일부 분야에선 WoS가 상위 중국 연구자의 더 높은 비율을 반영하지만, 여전히 의미 있는 비율의 연구자를 누락하고 있다.
• 이 연구는 WoS만으로는 특히 STEM 분야에서 중국 연구 성과 평가에 부적합하다고 결론 내린다.
• WoS와 CNKI와 같은 중국 기초정보 기반 데이터베이스를 병행 사용하면 중국 과학적 성과의 더 포괄적이고 대표적인 그림을 얻을 수 있다.