[논문 리뷰] Practice meets Principle: Tracking Software and Data Citations to Zenodo DOIs

Stephanie van de Sandt, Lars Holm Nielsen외 7명|arXiv (Cornell University)|2019. 11. 01.

Scientific Computing and Data Management참고 문헌 21인용 수 5

한 줄 요약

이 연구는 2019년 1월부터 제노도에 호스팅된 소프트웨어 및 데이터에 대한 5,456건의 인용을 분석하여, Asclepias 브로커를 활용해 현재의 인용 관행이 FORCE11 소프트웨어 인용 원칙과 얼마나 일치하는지 평가한다. 연구 결과, 권장 인용 방식과 실제 인용 방식 사이에 광범위한 괴리가 있음을 확인했으며, 소프트웨어 인용의 82%가 자가인용임을 발견했고, 영향력 추적을 향상시키기 위해 DOI 기반의 버전 관리와 개념 DOI를 활용한 실천적 조치를 제안한다.

ABSTRACT

Data and software citations are crucial for the transparency of research results and for the transmission of credit. But they are hard to track, because of the absence of a common citation standard. As a consequence, the FORCE11 recently proposed data and software citation principles as guidance for authors. Zenodo is recognized for the implementation of DOIs for software on a large scale. The minting of complementary DOIs for the version and concept allows measuring the impact of dynamic software. This article investigates characteristics of 5,456 citations to Zenodo data and software that were captured by the Asclepias Broker in January 2019. We analyzed the current state of data and software citation practices and the quality of software citation recommendations with regard to the impact of recent standardization efforts. Our findings prove that current citation practices and recommendations do not match proposed citation standards. We consequently suggest practical first steps towards the implementation of the software citation principles

연구 동기 및 목표

• 실제 소프트웨어 및 데이터 인용 관행이 FORCE11 소프트웨어 인용 원칙과 얼마나 일치하는지 평가하기.
• 최근 표준화 노력이 인용 품질 및 추적 정확도에 미친 영향 평가하기.
• 제노도의 개념 DOI 및 버전 DOI 시스템이 소프트웨어 버전 간 인용 영향을 통합하는 데 어떤 역할을 하는지 조사하기.
• 권장 인용 형식과 학술 출판물에서의 실제 인용 행동 사이의 괴리점 파악하기.
• 실제 인용 데이터를 바탕으로 소프트웨어 인용 관행을 향상시키기 위한 실천 가능한 권고안 제공하기.

제안 방법

• 공개 API를 통해 ADS, Europe PMC, Crossref Event Data에서 수집된 데이터를 집계하는 Asclepias 브로커를 통해 제노도 객체에 대한 5,456건의 인용 링크를 수확하였다.
• 제노도 및 GitHub(스타, 포크, 시청자 수)의 사용 지표(고유 조회수, 다운로드 수)와 인용 수 간의 관계를 평가하기 위해 스피어만의 순위 상관관계를 사용하였다.
• 352건의 인용(인용 속도가 0 또는 1인 대표 표본)을 대상으로 인용 논문과 피인용 제노도 객체의 저자 목록을 비교하여 자가인용을 식별하였다.
• ADS, Europe PMC 등의 발견 서비스 간 인용 겹침을 Venn 다이어그램을 사용해 시각화하여 커버리지 및 중복성 평가하였다.
• 25개의 고인용 소프트웨어 개념의 GitHub 및 문서에서 인용 권고사항을 분석하고, 시간에 따라 권고 품질 변화 추적하였다.
• 제노도의 개념 DOI 및 버전 DOI 인프라를 활용하여 소프트웨어 버전 간 인용 분포 추적 및 영향력 집계 추정하였다.

실험 결과

연구 질문

• RQ1 실제 소프트웨어 및 데이터 인용이 FORCE11 소프트웨어 인용 원칙과 얼마나 일치하는가?
• RQ2 현재의 인용 권고사항이 저자들이 적절한 인용 방식을 따르도록 이끌 수 있는가?
• RQ3 소프트웨어 및 데이터 인용 중 자가인용 비율은 얼마이며, 이는 영향력 측정에 어떤 영향을 미치는가?
• RQ4 인용 발견 서비스(예: ADS, Europe PMC)가 제노도 호스팅 소프트웨어 및 데이터에 대한 인용을 얼마나 잘 커버하고 있는가?
• RQ5 개념 DOI는 소프트웨어 버전 간 인용 영향력 집계 및 추적에 얼마나 기여할 수 있는가?

주요 결과

• 제노도에 호스팅된 소프트웨어의 82%가 자가인용이었으며, 이는 권장 인용 방식과 실제 인용 행동 간 괴리가 크다는 것을 시사한다.
• 4,060건의 인용에서 인용 속도가 0 또는 1이었는데, 이는 피인용 소프트웨어가 출판 연도 또는 그로부터 1년 이내에 인용되었음을 의미하며, 높은 자가인용 비율을 시사한다.
• 스피어만의 순위 상관관계 분석 결과, 인용 수와 사용 지표(예: 고유 조회수, 다운로드 수) 사이에 약한 정도의 상관관계가 확인되어, 사용과 인용 영향력 간 일치도가 제한적임을 나타낸다.
• 인용 논문의 48%만이 ADS와 Europe PMC 양쪽 모두에서 발견되었으며, 이는 인용 발견 서비스의 커버리지 격차를 드러낸다.
• 25개의 고인용 소프트웨어 개념 중 68%는 안정적이고, 버전이 명시된 인용 권고사항이 없었고, 40%는 버전 간 권고사항이 변경되어 일관성이 떨어졌다.
• 개념 DOI의 사용은 버전 간 인용을 집계할 수 있게 했지만, 인용된 소프트웨어 버전의 36%만이 올바른 개념 DOI에 연결되어 있어 영향력 추적에 제한을 받았다.