[논문 리뷰] Developing indicators on Open Access by combining evidence from diverse data sources

Thed N. van Leeuwen, Ingeborg Meijer외 2명|arXiv (Cornell University)|2018. 02. 08.

scientometrics and bibliometrics research인용 수 8

한 줄 요약

이 논문은 웹 오브 사이언스와 같은 문헌 기반 데이터베이스에서 완전한 오픈 액세스(OA) 레이블링이 부족한 문제를 해결하기 위해 출판사 메타데이터, 기관 보관소, DOIs 등의 다양한 데이터 소스를 통합하여 출판물을 체계적으로 오픈 액세스(OA)로 레이블링하는 방법론을 제안한다. 이 방법은 OA 탐지 정확도를 크게 향상시키며, 연구 성과의 OA 추세를 신뢰성 있게 추적할 수 있도록 하여 과학 정책 및 관리에 기여한다.

ABSTRACT

In the last couple of years, the role of Open Access (OA) publishing has become central in science management and research policy. In the UK and the Netherlands, national OA mandates require the scientific community to seriously consider publishing research outputs in OA forms. At the same time, other elements of Open Science are becoming also part of the debate, thus including not only publishing research outputs but also other related aspects of the chain of scientific knowledge production such as open peer review and open data. From a research management point of view, it is important to keep track of the progress made in the OA publishing debate. Until now, this has been quite problematic, given the fact that OA as a topic is hard to grasp by bibliometric methods, as most databases supporting bibliometric data lack exhaustive and accurate open access labelling of scientific publications. In this study, we present a methodology that systematically creates OA labels for large sets of publications processed in the Web of Science database. The methodology is based on the combination of diverse data sources that provide evidence of publications being OA

연구 동기 및 목표

• 웹 오브 사이언스와 같은 주요 문헌 기반 데이터베이스에서 일관성 없고 완전하지 않은 오픈 액세스(OA) 레이블링 문제를 해결한다.
• 다양한 증거 자료를 활용하여 대규모 출판물 집합에서 OA 출판물을 체계적이고 확장 가능한 방법으로 식별할 수 있는 방법을 개발한다.
• 국가 차원의 OA 지침 준수와 관련된 정책 및 연구 관리 지원을 위해 OA 출판 추세와의 준수 상황을 정확히 추적할 수 있도록 한다.
• 오픈 데이터 및 개방형 심사와 같은 더 넓은 오픈 사이언스 차원을 포함하여 전통적인 문헌 지표를 넘어서는 것을 목표로 한다.
• 기관 및 국가 간 신뢰할 수 있는 OA 지표를 생성하기 위한 재현 가능한 프레임워크를 제공한다.

제안 방법

• 출판사 메타데이터, 기관 보관소(예: 푸블리메드 센트럴, 기관 보관소), 그리고 OA 상태가 명시된 DOIs를 포함한 다양한 데이터 소스에서 증거를 집계한다.
• 수집된 데이터 소스에서 OA 지표의 존재 여부에 기반해 OA 상태를 할당하는 규칙 기반 분류 체계를 사용한다.
• 계층적 의사결정 프로세스를 적용: 신뢰할 수 있는 OA 보관소에 게재되었거나 명확한 OA 라이선스가 있는 경우, 해당 출판물을 OA로 레이블링한다.
• 정확성과 레이블링 과정의 신뢰성을 확보하기 위해 알려진 OA 데이터셋과 비교하여 방법을 검증한다.
• 이 다중 소스 증거 접근법을 사용해 웹 오브 사이언스 데이터베이스의 대규모 출판물 집합을 처리한다.
• 증거 자료의 수와 신뢰성에 기반해 OA 레이블링에 대한 신뢰도 수준을 평가하는 스코어링 메커니즘을 구현한다.

실험 결과

연구 질문

• RQ1 문헌 기반 데이터베이스에서 OA 레이블링이 완전하지 않은 경우, 대규모 출판물 집합에 대해 오픈 액세스(OA) 상태를 어떻게 신뢰성 있게 결정할 수 있는가?
• RQ2 어떤 조합의 데이터 소스가 OA 출판물을 식별하는 데 가장 정확하고 확장 가능한 방법을 제공하는가?
• RQ3 다중 소스 증거 접근법은 단일 소스 방법에 비해 OA 탐지 정확도를 얼마나 향상시키는가?
• RQ4 이 방법론은 국가 및 기관 차원의 OA 준수 및 오픈 사이언스 도입 상황 모니터링을 어떻게 지원할 수 있는가?
• RQ5 이 방법은 다양한 학문 분야와 출판 유형에 일반화되어 적용될 수 있는가?

주요 결과

• 단일 소스 메타데이터에 의존하는 것에 비해 다중 소스 증거 접근법은 특히 OA 레이블링이 완전하지 않은 데이터베이스에서 OA 탐지 정확도를 크게 향상시킨다.
• 기관 보관소, 출판사 웹사이트, DOIs의 신호를 조합함으로써 높은 정밀도로 OA 출판물을 성공적으로 식별한다.
• 이 방법은 대규모 출판물 집합에 대해 일관되고 재현 가능한 레이블링을 가능하게 하여 장기적 OA 추세 모니터링을 가능하게 한다.
• 본 연구는 다양한 데이터 소스를 통합함으로써 하이브리드 또는 지연 OA 저널의 경우에도 진짜 부정(양성으로 잘못 판단되지 않는 경우)을 줄이는 데 성공했다.
• 이 방법론은 영국 및 네덜란드의 OA 지침 준수와 같은 정책 평가 및 기관 보고를 위한 신뢰할 수 있는 OA 지표를 생성하는 데 기여한다.
• 신뢰도 스코어링 시스템은 OA 레이블의 품질을 평가할 수 있도록 하며, 연구자들이 분석에서 높은 신뢰도를 가진 OA 레코드를 우선적으로 선택할 수 있도록 한다.