[논문 리뷰] A Realistic Guide to Making Data Available Alongside Code to Improve Reproducibility

Nicholas Tierney, Karthik Ram|arXiv (Cornell University)|2020. 02. 06.

Scientific Computing and Data Management인용 수 6

한 줄 요약

이 논문은 연구자가 코드와 함께 데이터를 공유하여 재현 가능성을 향상시키기 위해 실용적이고 실행 가능한 지침을 제공한다. 이는 이상적인 프레임워크보다는 낮은 장벽, 현실적인 전략을 강조한다. 데이터 공유를 연속선상에서 고려하고, 버전 관리, 컨테이너화, 지속 가능한 저장소를 활용하여 계산 연구의 투명성과 재사용성을 높이고 장벽을 낮춘다.

ABSTRACT

Data makes science possible. Sharing data improves visibility, and makes the research process transparent. This increases trust in the work, and allows for independent reproduction of results. However, a large proportion of data from published research is often only available to the original authors. Despite the obvious benefits of sharing data, and scientists' advocating for the importance of sharing data, most advice on sharing data discusses its broader benefits, rather than the practical considerations of sharing. This paper provides practical, actionable advice on how to actually share data alongside research. The key message is sharing data falls on a continuum, and entering it should come with minimal barriers.

연구 동기 및 목표

• 데이터 공유를 주장하는 것과 연구자가 이를 구현하는 데 직면하는 실질적 과제 사이의 지속적인 격차를 해소하기 위해.
• 계산 연구의 재현 가능성을 향상시키기 위해 코드와 함께 데이터를 공유하기 위한 실행 가능한, 현실적인 단계를 제공하기 위해.
• FAIR 원칙과 같은 이상적인 원칙이 아닌 기존 도구와 워크플로우에 초점을 맞춰 데이터 공유의 장벽을 줄이기 위해.
• 표준 연구 및 버전 관리 관행에 데이터 공유를 통합하여 투명성과 재사용성을 증진하기 위해.
• 코드, 계산 환경, 데이터에의 접근을 보장함으로써 연구자가 최소한의 재현 가능성을 달성하도록 지원하기 위해.

제안 방법

• 최소한의 노력으로 시작해 진입 장벽을 낮추는, 연속선상의 데이터 공유를 주장한다.
• 버전 관리 시스템(예: Git)을 사용해 코드와 함께 데이터 버전을 추적함으로써 재현 가능성과 감사 가능성을 확보한다.
• 연구 컴프레헨디움 또는 프로젝트 구조(예: R 패키지, Python 패키지)를 활용해 데이터와 분석을 통합함으로써 데이터와 코드를 함께 번들링한다.
• Docker 및 Binder와 같은 컨테이너화 도구를 활용해 전체 계산 환경(데이터 포함)을 봉인하여 일관된 실행을 보장한다.
• Zenodo, Dryad, GitHub와 같은 지속 가능한 신뢰할 수 있는 저장소를 활용해 데이터를 DOI와 함께 호스팅함으로써 인용 가능성과 장기적 접근성을 높인다.
• 사용성과 상호운용성을 향상시키기 위해 표준화된 데이터 형식과 메타데이터(예: Tidy Data 원칙)의 사용을 권장한다.

실험 결과

연구 질문

• RQ1 연구자가 코드와 함께 데이터를 공유하기 위해 사용할 수 있는 실용적이고, 장벽이 낮은 전략은 무엇인가?
• RQ2 버전 관리와 컨테이너화는 어떻게 활용되어 데이터와 코드가 함께 재현 가능한 방식으로 공유될 수 있도록 도울 수 있는가?
• RQ3 계산 연구에서 데이터 공유의 주요 장애물은 무엇이며, 이를 기존 도구와 워크플로우를 통해 어떻게 최소화할 수 있는가?
• RQ4 주요 전환 없이도 이상적인 프레임워크 없이도 데이터 공유를 표준 연구 관행에 어떻게 통합할 수 있는가?
• RQ5 지속 가능한 저장소와 메타데이터는 데이터 탐색 가능성과 재사용성을 향상시키는 데 어떤 역할을 하는가?

주요 결과

• 데이터 공유가 코드와 계산 환경과 함께 이루어질 경우 과학 연구의 재현 가능성, 투명성, 신뢰도가 크게 향상된다.
• 광범위한 개방형 데이터 주창에도 불구하고 대부분의 연구 데이터는 출판 후 접근이 불가능한 상태에 머물러 있어, 의도와 실천 사이의 격차를 보여준다.
• 버전 관리(Git 등)와 컨테이너화(Docker, Binder 등)의 사용은 다양한 환경에서 데이터 분석의 일관성 있고 재현 가능한 실행을 가능하게 한다.
• Zenodo와 Dryad와 같은 지속 가능한 저장소는 DOI를 부여해 신뢰할 수 있고 인용 가능한 데이터 저장소를 제공하며, 가시성과 재사용 가능성을 높인다.
• 연구 컴프레헨디움 또는 소프트웨어 패키지(R 패키지, Python 패키지 등)에 데이터를 통합하면 공유가 간소화되고 데이터가 코드와 함께 버전 관리된다.
• 실천적인 데이터 공유가 가장 효과적인 것은 이상적인 원칙(예: FAIR)을 처음부터 완전히 준수하려는 요구가 아니라, 점진적이고 장벽이 낮은 접근 방식을 취할 때이다.