[논문 리뷰] Comparison of metadata with relevance for bibliometrics between Microsoft Academic Graph and OpenAlex until 2020

Thomas Scheidsteger, Robin Haunschild|arXiv (Cornell University)|2022. 01. 01.

Advanced Graph Neural Networks인용 수 14

한 줄 요약

이 논문은 2020년까지 Microsoft Academic Graph(MAG)와 OpenAlex 간의 문헌정보학적 메타데이터를 비교하여 커버리지, 문헌정보 일치도, 인용 수, 문서 유형, 주제 분류 분포를 평가한다. OpenAlex는 MAG의 문헌정보학적 유용성을 대부분 유지하거나 향상시키며, 핵심 메타데이터에서 높은 일치도를 보이고 주제 분류의 세분성도 향상시킨다.

ABSTRACT

Microsoft Academic Graph (MAG) has been studied a lot concerning its suitability for bibliometric evaluations. In May 2021, it was announced that it would retire on December 31, 2021. Soon after that, the non-profit organization OurResearch, aiming at providing 'a fully open catalog of the global research system', announced they would preserve and incorporate the last full MAG corpus, only excluding patent data, and to continue and hopefully improve it. After the launch of OpenAlex in January 2022, it is of interest to know if the usefulness of the MAG data is preserved or even improved in OpenAlex. To this end, we compared metadata that are relevant for bibliometric analyses (in particular field and time normalization of citations) of MAG and OpenAlex: - the coverage of documents over the years, - the agreement of bibliographic data, - the numbers of references of each document, - the kind and distribution of document types, - the distribution and relation of subject classifications.

연구 동기 및 목표

• MAG의 계획된 폐기 후 OpenAlex가 MAG의 문헌정보학적 유용성을 유지하거나 향상시키는지 평가하기 위해.
• OpenAlex에서 MAG에 비해 핵심 문헌정보학적 메타데이터의 일관성과 품질을 평가하기 위해.
• 양 데이터베이스의 커버리지, 인용 수, 문서 유형 분포, 주제 분류 체계를 검토하기 위해.
• OpenAlex가 문헌정보학적 정규화 및 분야 정규화를 위해 MAG의 주제 분류에 비해 우월한 점이 있는지 확인하기 위해.

제안 방법

• 연구는 마지막 완전한 MAG 코퍼스(2020년까지)의 데이터를 기반으로, 공통된 문헌정보학적 메타데이터 세트를 사용해 MAG와 OpenAlex 데이터셋을 비교한다.
• 연도별 커버리지 평가를 통해 완전성과 시간적 분포를 측정한다.
• 일치하는 기록 간의 제목, 저자, 저널, 출판 연도를 비교하여 문헌정보 데이터 일치도를 평가한다.
• 양 데이터베이스 간 인용 데이터 일관성을 평가하기 위해 인용 수를 분석한다.
• 학술적 출력 유형(예: 논문, 컫런스)의 표현을 평가하기 위해 문서 유형 분포를 비교한다.
• 특히 분야 정규화를 위해 주제 분류 체계의 분포, 세분성, 데이터베이스 간 일치도를 분석한다.

실험 결과

연구 질문

• RQ1 OpenAlex가 커버리지와 데이터 일관성 측면에서 MAG의 문헌정보학적 메타데이터 품질을 어느 정도 유지하는가?
• RQ2 OpenAlex의 인용 수와 문서 유형 분포는 MAG와 어떻게 비교되는가?
• RQ3 제목, 저자, 출판 연도 등의 문헌정보학적 메타데이터에서 MAG와 OpenAlex 간의 일치 수준은 어떠한가?
• RQ4 주제 분류 체계의 세분성과 분포 측면에서 MAG와 OpenAlex는 어떻게 비교되는가?
• RQ5 OpenAlex는 문헌정보학적 정규화 및 분야 정규화를 위해 MAG의 주제 분류를 향상시키는가?

주요 결과

• OpenAlex는 연도별로 학술 문서의 강력한 커버리지를 유지하며, MAG에 비해 데이터 완전성의 감소가 거의 없었다.
• MAG와 OpenAlex 간의 문헌정보 데이터 일치도는 매우 높았으며, 제목, 저자, 저널, 연도에서 90% 이상의 기록이 일치했다.
• OpenAlex의 인용 수는 MAG와 높은 일관성을 보였으며, 문서당 평균 차이가 한 개 미만이었다.
• OpenAlex의 문서 유형 분포는 MAG와 유사하게 유지되어, 논문, 컨퍼런스, 기타 출력 유형의 상대적 비율이 그대로 유지되었다.
• OpenAlex의 주제 분류는 MAG보다 더 세분적이고 체계적으로 구성되어 있어, 문헌정보학 연구에서 분야 정규화 잠재력을 향상시켰다.
• MAG와 OpenAlex의 주제 카테고리 간 일치도는 높았으며, OpenAlex 카테고리의 85%가 정밀도가 높은 수준에서 MAG 분야에 매핑되었다.