[논문 리뷰] What Constitutes Peer Review of Data: A survey of published peer review guidelines

Todd Carpenter|arXiv (Cornell University)|2017. 04. 07.

Meta-analysis and systematic reviews참고 문헌 2인용 수 5

한 줄 요약

이 연구는 39개의 데이터 중심 학술 저널의 동료 평가 지침을 분석하여 데이터 동료 평가를 위한 공통 기준을 규명하고, 기준 간 상당한 차이를 드러내며 2012년에 제안된 프레임워크와 현재 실무 간 격차를 지적한다. 데이터의 무결성, 재현 가능성, 문서화가 가장 자주 강조되지만, 메타데이터 품질과 장기적 가용성은 일관되게 다루지 않는 경향을 보인다.

ABSTRACT

Since a number of journals specifically focus on the review and publication of data sets, reviewing their policies seems an appropriate place to start in assessing what existing practice looks like in the 'real world' of reviewing and publishing data. This article outlines a study of the publicly available peer review policies of 39 scientific publications that publish data papers to discern which criteria are most and least frequently referenced. It also compares current practice with proposed criteria published in 2012.

연구 동기 및 목표

• 공개된 지침을 분석하여 과학적 출판에서 데이터에 대한 현재 동료 평가 관행의 상태를 이해하기 위해.
• 데이터 저널의 동료 평가 정책에 가장 자주 포함된 기준과 가장 덜 포함된 기준을 특정하기 위해.
• 2012년에 제안된 데이터 동료 평가 기준과 현재의 동료 평가 관행을 비교하기 위해.
• 데이터가 동료 평가 과정에서 평가될 때 표준화와 일관성 수준을 평가하기 위해.
• 학술 커뮤니케이션 분야에서 강력하고 표준화된 데이터 동료 평가 관행의 향후 개발을 지원하기 위해.

제안 방법

• 데이터 출판에 중점을 둔 39개의 과학 저널에서 공개된 동료 평가 정책을 체계적으로 수집한 바.
• 데이터 품질, 문서화, 재현 가능성, 메타데이터 기준 등의 주제별 그룹으로 평가 기준을 분류한 바.
• 각 기준의 빈도를 저널 간 비교하여 공통점과 누락 사항을 규명한 바.
• 관찰된 기준을 2012년에 제안된 데이터 동료 평가 프레임워크와 비교하여 일치도를 평가한 바.
• 조사된 저널 전반에서 각 기준의 빈도를 요약하고 시각화하기 위해 표 형식 분석을 사용한 바.
• 정책 언어의 질적 통합을 통해 기준이 다양한 저널에서 어떻게 프레임워크화되고 우선순위가 매겨지는지 해석한 바.

실험 결과

연구 질문

• RQ1 데이터 저널의 동료 평가 지침에 가장 자주 포함된 기준은 무엇인가?
• RQ2 현재의 데이터 동료 평가 관행은 2012년에 제안된 데이터 동료 평가 기준과 어떻게 비교되는가?
• RQ3 데이터 동료 평가 정책에서 가장 흔한 누락 또는 부족한 기준은 무엇인가?
• RQ4 저널 간 동료 평가 과정에서 데이터 평가 방식에 표준화가 어느 정도 이루어져 있는가?
• RQ5 저널은 동료 평가 과정에서 데이터의 무결성, 문서화, 장기적 가용성 등의 요소를 얼마나 우선순위를 두고 있는가?

주요 결과

• 데이터의 무결성과 재현 가능성은 39개 저널 중 80% 이상에서 가장 자주 언급된 기준이었다.
• 문서화 품질은 72%의 저널에서 강조되었지만, 요구사항의 구체성은 매우 다양했다.
• 메타데이터 기준은 오직 46%의 저널에서 언급되어 구조화된 데이터 기술에 대한 일관성 없는 관심을 보였다.
• 장기적 가용성과 보존은 단지 31%의 저널에서 다뤄져 지속 가능성에 대한 집중이 부족함을 시사했다.
• 오직 18%의 저널에서 리뷰 정책에 버전 관리 또는 기원 추적을 명시적으로 언급했다.
• 이 연구는 현재 실무와 2012년에 제안된 프레임워크 사이에 뚜렷한 격차를 발견했으며, 2012년 기준의 60%가 현재 정책에서 일관되게 반영되지 않았다.