[논문 리뷰] Open data to evaluate academic researchers: an experiment with the Italian Scientific Habilitation

Angelo Di Iorio, Silvio Peroni외 1명|arXiv (Cornell University)|2019. 02. 08.

scientometrics and bibliometrics researchDecision Sciences인용 수 17

한 줄 요약

이 논문은 이탈리아의 국립 교수 자격 심사 과정(과학적 자격 인증, Scientific Habilitation)을 시뮬레이션하여 상업적 인용 데이터베이스를 개방형 데이터로 대체할 수 있는지의 가능성을 평가한다. 오직 개방형 인용 데이터만을 사용한 연구에서, 현재의 개방형 인용 데이터 커버리지가 공식 결과를 재현하기에는 부족하다는 결론을 내렸으며, I4OC와 같은 초기 노력에도 불구하고 여전히 개방형 학술 인프라에 심각한 격차가 존재함을 드러낸다.

ABSTRACT

The need for scholarly open data is ever increasing. While there are large repositories of open access articles and free publication indexes, there are still a few examples of free citation networks and their coverage is partial. One of the results is that most of the evaluation processes based on citation counts rely on commercial citation databases. Things are changing under the pressure of the Initiative for Open Citations (I4OC), whose goal is to campaign for scholarly publishers to make their citations as totally open. This paper investigates the growth of open citations with an experiment on the Italian Scientific Habilitation, the National process for University Professor qualification which instead uses data from commercial indexes. We simulated the procedure by only using open data and explored similarities and differences with the official results. The outcomes of the experiment show that the amount of open citation data currently available is not yet enough for obtaining similar results.

연구 동기 및 목표

• 개방형 인용 데이터가 국가 차원의 학술 평가 과정에서 상업적 인용 데이터베이스를 신뢰성 있게 대체할 수 있는지 평가하기.
• 교수직 자격 심사와 같은 고위험 학술 평가에서 개방형 데이터의 활용 가능성을 조사하기.
• 상업적 인덱스 기반 공식 평가와의 비교를 통해 개방형 데이터 시뮬레이션의 결과를 분석하기.
• 현재 개방형 인용 데이터 커버리지의 격차와 평가 결과에 미치는 영향을 규명하기.
• 실제 평가 환경에서 개방형 데이터를 실험적으로 테스트하여 개방형 학술 인프라의 보편적 목표를 뒷받침하기.

제안 방법

• 저자들은 Crossref 및 OpenCitations와 같은 자료에서 올린 개방형 인용 데이터만을 사용하여 이탈리아의 과학적 자격 인증 과정을 시뮬레이션했다.
• 연구자들의 출판 및 인용 데이터를 개방형 리포지터리와 인용 네트워크에서 수집했다.
• 시뮬레이션은 인용 수 집계 및 정규화를 포함한 공식 평가 절차를 재현했다.
• 개방형 데이터 시뮬레이션 결과를 국가 과학적 자격 인증 과정에서의 공식 결과와 비교했다.
• 개방형 데이터에서만 계산된 표준 문헌정보학적 지표(예: 인용 수, h-지수수)를 사용했다.
• 평가 결과에 미치는 영향을 분석하기 위해 개방형 인용 데이터의 커버리지와 완전성 수준을 분석했다.

실험 결과

연구 질문

• RQ1 국가 차원의 학술 평가에서 개방형 인용 데이터가 상업적 인용 데이터베이스의 결과와 비교 가능한 결과를 도출할 수 있는가?
• RQ2 고위험 학술 평가에 활용하기 위한 현재 개방형 인용 데이터의 완전성과 커버리지 수준은 어느 정도인가?
• RQ3 인용 데이터 소스의 차이가 학술 후보자의 순위 및 자격에 어떤 영향을 미치는가?
• RQ4 포괄적인 개방형 인용 데이터가 부족할 경우, 개방형 평가 시스템의 도입에 얼마나 막히는가?
• RQ5 국가 차원의 학술 자격 심사 과정에서 개방형 데이터에 의존하는 데 실질적인 영향은 무엇인가?

주요 결과

• 오직 개방형 인용 데이터만을 사용한 시뮬레이션은 이탈리아의 과학적 자격 인증 과정의 공식 결과를 재현하지 못했다.
• 현재의 개방형 인용 커버리지 수준은 대규모 학술 평가에서 신뢰성 있거나 비교 가능한 결과를 보장하기에는 부족하다.
• 특히 오래된 출판물과 특정 학문 분야에서 개방형 인용 데이터의 가용성과 완전성이 크게 떨어지는 격차가 존재한다.
• I4OC와 같은 개방형 인용 이니셔티브의 진전은 확인되었지만, 아직 상업적 데이터베이스를 대체할 수 있는 핵심 규모에 도달하지 못했다.
• 공식 평가와 개방형 데이터 기반 평가 간의 격차는 더 나은 개방형 인용 인프라의 필요성을 부각시킨다.
• 결과는 학술 평가가 상업적 데이터에 의존하고 있으며, 불완전한 개방형 대안에 의존할 경우 위험을 안고 있음을 강조한다.