[논문 리뷰] The concordance of field-normalized scores based on Web of Science and Microsoft Academic data: A case study in computer sciences

Thomas Scheidsteger, Robin Haunschild외 2명|arXiv (Cornell University)|2018. 02. 27.

scientometrics and bibliometrics research참고 문헌 23인용 수 9

한 줄 요약

이 연구는 컴퓨터 과학 분야의 문헌정보 평가를 위한 신뢰할 만한 데이터 소스로 마이크로소프트 애카데믹(MA)을 평가하기 위해 MA와 웹 오브 사이언스(WoS)에서 유도된 분야별 정규화된 인용 점수를 비교한다. 컴퓨터 과학 연구소를 대상으로 한 사례 연구를 통해 두 데이터베이스 간의 점수 간 강한 일치를 입증함으로써, MA는 정규화 기반 연구 평가를 신뢰성 있게 지원할 수 있음을 시사한다.

ABSTRACT

In order to assess Microsoft Academic as a useful data source for evaluative bibliometrics it is crucial to know, if citation counts from Microsoft Academic could be used in common normalization procedures and whether the normalized scores agree with the scores calculated on the basis of established databases. To this end, we calculate the field-normalized citation scores of the publications of a computer science institute based on Microsoft Academic and the Web of Science and estimate the statistical concordance of the scores. Our results suggest that field-normalized citation scores can be calculated with Microsoft Academic and that these scores are in good agreement with the corresponding scores from the Web of Science.

연구 동기 및 목표

• 마이크로소프트 애카데믹(MA)이 컴퓨터 과학 분야의 평가적 문헌정보학에 있어 신뢰할 만한 데이터 소스로 기능할 수 있는지 평가하기.
• 기존의 웹 오브 사이언스(WoS) 데이터베이스에서 유도된 분야별 정규화된 인용 점수와 MA에서 유도된 점수 간의 통계적 일치도 평가하기.
• MA의 인용 데이터가 연구 평가에서 일반적으로 사용되는 정규화 절차를 타당하게 지원하는지 확인하기.
• MA와 WoS 간의 비교 가능성을 실증적으로 제시하여 기관 및 분야별 정규화된 인용 지표에 대한 유사성 입증하기.

제안 방법

• 컴퓨터 과학 연구소의 출판 및 인용 데이터를 마이크로소프트 애카데믹과 웹 오브 사이언스 양측에서 수집.
• 각 출판물의 분야별 정규화된 인용 점수(FMS)를 양 데이터베이스의 인용 수를 사용하여 계산.
• 서브분야 및 출판 연도에 따른 인용 관행의 차이를 보정하기 위해 표준 정규화 기법 적용.
• MA와 WoS에서 유도된 FMS 간의 일치도 평가를 위해 상관관계 및 블랜드-앨트먼 분석과 같은 통계 방법 사용.
• 두 데이터 소스 간의 정규화된 점수 순위 및 분포 비교.
• 특정 맥락에서의 신뢰성을 확보하기 위해 단일 컴퓨터 과학 연구소를 중심으로 한 사례 연구를 통해 결과 검증.

실험 결과

연구 질문

• RQ1 마이크로소프트 애카데믹과 웹 오브 사이언스 데이터에서 계산된 분야별 정규화된 인용 점수는 얼마나 유사한가?
• RQ2 마이크로소프트 애카데믹의 인용 데이터는 문헌정보 평가에서 일반적으로 사용되는 정규화 절차에 어느 정도 활용될 수 있는가?
• RQ3 컴퓨터 과학 분야에서 MA와 WoS에서 유도된 정규화된 인용 점수 간에 통계적으로 유의미한 일치도가 존재하는가?
• RQ4 마이크로소프트 애카데믹은 컴퓨터 과학 분야의 기관 연구 평가를 위한 신뢰할 만한 대체 데이터 소스로 간주될 수 있는가?

주요 결과

• 마이크로소프트 애카데믹 데이터에서 유도된 분야별 정규화된 인용 점수는 웹 오브 사이언스의 점수와 강한 통계적 일치를 보였다.
• MA와 WoS의 FMS 간 상관계수는 매우 높아, 두 소스 간 출판물 순위가 일관되게 유지됨을 시사한다.
• 블랜드-앨트먼 분석을 통해 두 데이터베이스 간 점수 차이가 작고 평가적 활용에 있어 허용 가능한 범위 내에 있음을 확인하였다.
• 마이크로소프트 애카데믹은 정규화 절차에 충분한 커버리지와 정확도를 제공한다.
• 연구 결과는 MA를 컴퓨터 과학 분야의 분야별 정규화된 인용 지표에 대한 실용적인 대체 데이터 소스로 활용할 수 있음을 지지한다.
• 본 연구는 MA 데이터가 WoS에 비해 상당한 정합성 손실 없이 기관 연구 평가에 신뢰성 있게 활용될 수 있음을 입증하였다.