[논문 리뷰] Exploring the Effects of Data Set Choice on Measuring International Research Collaboration: an Example Using the ACM Digital Library and Microsoft Academic Graph

Ba Xuan Nguyen, Markus Luczak–Roesch외 1명|arXiv (Cornell University)|2019. 05. 30.

scientometrics and bibliometrics research참고 문헌 5인용 수 4

한 줄 요약

이 연구는 특정 학술 데이터베이스—즉, ACM 디지털 라이브러리와 마이크로소프트 아카데믹 그래프—가 국제 연구 협력(IRC) 측정에 어떤 영향을 미치는지 조사한다. 두 데이터 소스 간의 IRC 지표를 비교함으로써, 저자들이 기여한 협력 비율과 국가 순위에 있어 상당한 격차가 있음을 입증하며, 데이터베이스 선택이 과학지수학 연구 평가 결과에 결정적인 영향을 미칠 수 있음을 시사한다.

ABSTRACT

International research collaboration (IRC) measurement is important because countries can and want to benefit from international collaboration but performing the same measurement procedure on different data sets can lead to different results. This study aims to explore the effects of data set choice on IRC measurement.

연구 동기 및 목표

• 학술 데이터베이스 선택이 국제 연구 협력(IRC) 측정에 미치는 영향을 조사하기 위해.
• ACM 디지털 라이브러리와 마이크로소프트 아카데믹 그래프에서 유도된 IRC 지표를 여러 차원에서 비교하기 위해.
• 두 데이터베이스 간 협력 비율, 국가 순위, 그리고 저자 커버리지의 체계적 차이를 규명하기 위해.
• 데이터베이스 선택이 과학지수학 연구에서 상당히 다른 결론을 이끌 수 있음을 실증적으로 제시하기 위해.
• 연구자들과 정책 결정자들이 국제 연구 협력 평가 시 데이터 소스 선택의 중요성을 이해하는 데 기여하기 위해.

제안 방법

• 연구는 정의된 기간 동안 ACM 디지털 라이브러리와 마이크로소프트 아카데믹 그래프에서 출판 기록을 추출한다.
• 공저자 관계를 식별하고, 소속 기관 정보를 바탕으로 저자에게 국가를 할당한다.
• IRC는 최소한 한 명의 다른 국가 소속 공저자가 포함된 출판물 비율로 측정된다.
• 저자 간 협력 비율, 국가 수준의 협력 순위, 그리고 저자 커버리지 측면에서 두 데이터베이스 간의 비교를 수행한다.
• 유의미성 검정과 상관 분석을 통해 결과의 일관성과 상이함을 평가한다.
• 데이터 품질과 완전성에 대한 민감도 검증을 데이터 소스 간에 포함한다.

실험 결과

연구 질문

• RQ1 ACM 디지털 라이브러리와 마이크로소프트 아카데믹 그래프를 사용할 경우, IRC 비율은 어떻게 다를까?
• RQ2 두 데이터베이스 간 국가 수준의 협력 순위는 어느 정도 다를까?
• RQ3 ACM 디지털 라이브러리와 마이크로소프트 아카데믹 그래프 간 저자 및 출판물 커버리지는 어떻게 다를까?
• RQ4 데이터베이스 선택이 IRC 측정의 신뢰성과 타당성에 어떤 영향을 미치는가?
• RQ5 일부 데이터베이스에서 국제 협력 측정에 영향을 미치는 체계적 편향이 존재하는가?

주요 결과

• 동일한 출판 기간 동안 ACM 디지털 라이브러리는 마이크로소프트 아카데믹 그래프보다 높은 국제 협력 비율(38.6%)을 보고한다.
• 국가 수준의 협력 순위는 상당한 격차를 보이며, 일부 국가가 한 데이터베이스에서는 매우 높은 순위를 차지하지만 다른 하나에서는 낮은 순위를 차지한다.
• ACM 디지털 라이브러리는 특히 미국 이외 기관 소속 저자 및 출판물의 비율을 더 넓게 커버한다.
• 마이크로소프트 아카데믹 그래프에서는 영어권이 아닌 출판물과 미국 이외의 출판물 커버리지가 낮아, IRC 측정 정확도에 영향을 미친다.
• 연구는 데이터베이스 선택이 국제 연구 협력의 범위와 구조에 대한 결론을 상당히 다르게 이끌 수 있음을 규명한다.
• 이러한 격차는 두 소스 간 데이터 수집 방식, 색인 정책, 소속 기관 정보 추출 방법의 차이에서 기인한다.