[논문 리뷰] Data management to support reproducible research

Brian A. Wandell, Ariel Rokem외 3명|arXiv (Cornell University)|2015. 02. 21.

Scientific Computing and Data ManagementDecision Sciences참고 문헌 9인용 수 20

한 줄 요약

이 논문은 연구 프로젝트의 초도 단계에서부터 데이터 및 계산 워크플로우 관리를 통합함으로써 재현 가능한 연구를 지원하기 위해 설계된 과학적 데이터 관리(SDM) 시스템을 제시한다. 이 시스템은 2년 이상 MRI 센터에 구축되어 운영되었으며, 연구 생애 주기 전반에 걸쳐 데이터와 코드를 추적하여 데이터 무결성 향상, 방법 재사용 가능, 투명성 확보를 가능하게 하여, 초기 단계에서 SDM 도구를 도입함으로써 정량 생물학 분야의 재현 가능성과 협업이 크게 향상됨을 입증한다.

ABSTRACT

We describe the current state and future plans for a set of tools for scientific data management (SDM) designed to support scientific transparency and reproducible research. SDM has been in active use at our MRI Center for more than two years. We designed the system to be used from the beginning of a research project, which contrasts with conventional end-state databases that accept data as a project concludes. A number of benefits accrue from using scientific data management tools early and throughout the project, including data integrity as well as reuse of the data and of computational methods.

연구 동기 및 목표

• 연구의 재현성 부족 문제를 프로젝트 초도 단계에서부터 데이터 관리 시스템을 도입함으로써 해결하고자 한다.
• 연구 생애 주기 전반에 걸쳐 데이터 및 계산 워크플로우를 추적함으로써 데이터 무결성과 투명성을 향상시키고자 한다.
• 구조화되고 버전 관리된 기록을 유지함으로써 데이터 및 계산 방법의 복수 연구 간 재사용을 가능하게 하고자 한다.
• 연구 종료 후 데이터 아카이빙에서 벗어나 활동 중인 연구 기간 동안 지속적이고 통합된 데이터 관리로의 패러다임 전환을 이루고자 한다.
• 정량 생물학 및 신경과학 분야에서 협업이 가능하고 투명하며 재현 가능한 연구를 지원하고자 한다.

제안 방법

• SDM 시스템은 연구 프로젝트의 초도 단계에 도입되며, 후행적 아카이빙이 아닌 초기 단계에서부터 적용된다.
• 데이터 수집, 처리, 버전 관리와 계산 워크플로우를 통합하여 전체 기록 추적을 보장한다.
• 원시 데이터 및 처리된 데이터를 모두 지원하며, 파ip라인의 모든 단계에서 메타데이터를 캡처한다.
• 연구자가 분석을 정확히 동일한 방식으로 재구성할 수 있도록 하여 재현성을 확보한다.
• 다양한 연구 분야, 특히 신경영상 및 정량 생물학 분야에 적합하도록 확장성 있고 유연성 있는 아키텍처를 구축하였다.
• 중앙 집중식이고 버전 관리 가능한 인프라를 사용하여 데이터 라인저이를 유지하고 협업을 촉진한다.

실험 결과

연구 질문

• RQ1 어떻게 데이터 관리 시스템을 연구 과정의 초도 단계에 통합함으로써 재현성을 향상시킬 수 있는가?
• RQ2 연구 종료 후 데이터 아카이빙과 비교했을 때 지속적인 데이터 관리가 어떤 이점을 제공하는가?
• RQ3 SDM 도구가 과학 연구에서 데이터 무결성과 방법 재사용을 어느 정도 향상시킬 수 있는가?
• RQ4 초기 단계에서 SDM 도구를 도입함으로써 정량 연구의 협업과 투명성은 어떻게 영향을 받는가?
• RQ5 통합된 데이터 및 워크플로우 관리 시스템은 다양한 과학적 프로젝트 간 재현 가능한 연구를 지원할 수 있는가?

주요 결과

• SDM 시스템은 2년 이상 MRI 센터에서 활발히 사용되어 장기적인 타당성을 입증하였다.
• 초기 단계에서 데이터 관리를 도입함으로써 데이터 무결성과 분석의 완전한 재현 가능성이 보장된다.
• 시스템을 통해 데이터 및 계산 방법의 복수 연구 간 재사용이 가능해져 중복을 줄였다.
• 데이터 및 코드의 완전한 기록 추적 덕분에 연구자들이 결과를 정확히 재현할 수 있다.
• 이러한 접근은 반응적인 데이터 아카이빙에서 능동적이고 통합된 데이터 관리로의 패러다임 전환을 이끌었다.
• 모든 연구 단계의 완전하고 감사 가능한 기록을 유지함으로써 투명성과 협업을 지원한다.