[논문 리뷰] Reproducibility as a Technical Specification

Tom Crick, Benjamin A. Hall외 1명|arXiv (Cornell University)|2015. 04. 06.

Scientific Computing and Data Management참고 문헌 53인용 수 3

한 줄 요약

이 논문은 표준화된 사이버인fra 및 워크플로우를 통해 계산 과학 연구 자료의 자동 검증 및 검증을 가능하게 하는 재현성 서비스에 대한 공식적인 기술 사양을 제안한다. 자료 평가를 출판 과정에 통합함으로써 계층적 리뷰 시스템과 공동체가 관리하는 저장소를 활용함으로써, 계산 과학 분야에서 재현성을 측정 가능하고 이행 가능한 기준을 수립한다. 이는 BioModelAnalyzer 도구를 활용한 사례 연구를 포함한다.

ABSTRACT

Reproducibility of computationally-derived scientific discoveries should be a certainty. As the product of several person-years' worth of effort, results -- whether disseminated through academic journals, conferences or exploited through commercial ventures -- should at some level be expected to be repeatable by other researchers. While this stance may appear to be obvious and trivial, a variety of factors often stand in the way of making it commonplace. Whilst there has been detailed cross-disciplinary discussions of the various social, cultural and ideological drivers and (potential) solutions, one factor which has had less focus is the concept of reproducibility as a technical challenge. Specifically, that the definition of an unambiguous and measurable standard of reproducibility would offer a significant benefit to the wider computational science community. In this paper, we propose a high-level technical specification for a service for reproducibility, presenting cyberinfrastructure and associated workflow for a service which would enable such a specification to be verified and validated. In addition to addressing a pressing need for the scientific community, we further speculate on the potential contribution to the wider software development community of services which automate de novo compilation and testing of code from source. We illustrate our proposed specification and workflow by using the BioModelAnalyzer tool as a running example.

연구 동기 및 목표

• 재현성 위기를 지속적으로 해결하기 위해 재현성을 문화적 또는 사회적 문제로 보는 것이 아니라, 기술적 사양으로 접근하고자 한다.
• 연구 소프트웨어 자료를 평가하기 위한 표준화되고 측정 가능하며 검증 가능한 서비스를 설계하여 소스에서 자동 컴파일 및 테스트를 가능하게 하고자 한다.
• 자료 평가를 학술 출판 워크플로우에 통합하여, 처음에는 선택 사항으로 시작하여 점차 의무 사항으로 전환해 나가고자 한다.
• 초기 연구자들과 자원이 부족한 그룹이 인프라 및 라이선싱 부담을 최소화함으로써 장벽을 낮추고자 한다.
• 평가된 자료를 공동체가 관리하는 저장소로 구축하여 재현 가능한 연구의 최선의 실천 사례와 벤치마크를 촉진하고자 한다.

제안 방법

• 소스 코드의 자동으로 새로운 컴파일 및 테스트를 지원하는 재현성 서비스에 대한 고수준 기술 사양을 설계한다.
• 다양한 계산 환경에서 자료를 검증할 수 있도록 표준화된 툴체인과 워크플로우를 포함한 사이버인프라 스택을 정의한다.
• 재현성 수준을 평가하기 위해 교통 신호등 시스템(예: 통과, 경고, 실패)을 사용하는 계층적 자료 평가 프로세스를 구현한다.
• 단계적 도입 모델을 도입한다: 연도 t에 선택 사항, 연도 t+1에 심사에 영향 없이 의무화, 연도 t+2에 심사에 영향을 주는 의무화.
• 사양과 워크플로우를 실제 적용하는 데 사용하기 위해 BioModelAnalyzer 도구를 연속적인 예시로 사용한다.
• 평가된 자료의 증가하는 검색 가능한 데이터베이스를 유지하기 위해 공동체 기반의 쿠레이션 시스템을 구축한다.

실험 결과

연구 질문

• RQ1 계산 과학 분야에서 재현성을 문화적 이상이 아니라 측정 가능하고 기술적인 사양으로 어떻게 형식화할 수 있는가?
• RQ2 연구 소프트웨어 자료의 자동 반복 검증을 가능하게 하기 위해 필요한 사이버인프라 및 워크플로우 구성 요소는 무엇인가?
• RQ3 연구자들에게 부담을 가중시키지 않으면서도 자료 평가를 학술 출판 과정에 어떻게 통합할 수 있는가?
• RQ4 광범위한 공동체 수용을 가능하게 하면서도 교란을 최소화할 수 있는 단계적 도입 전략은 무엇인가?
• RQ5 표준화되고 공동체가 관리하는 평가된 자료의 저장소는 최선의 실천 사례를 촉진하고 연구 품질을 향상시키는 데 어떻게 기여할 수 있는가?

주요 결과

• 제안된 기술 사양은 표준화된 컴파일 및 테스트 워크플로우를 통해 계산 과학 연구 자료의 자동 반복 검증을 가능하게 한다.
• 단계적 도입 모델—선택 사항에서 시작하여, 심사에 영향 없이 의무화된 후, 심사에 영향을 주는 의무화—는 최소한의 교란으로 문화적 변화를 촉진할 수 있다.
• 자료 평가를 위한 교통 신호등 시스템은 심사자와 독자에게 재현성 수준을 명확하고 시각적으로, 확장 가능하게 전달하는 방법을 제공한다.
• 평가된 자료의 공동체 쿠레이션은 벤치마크 및 비교, 최선의 실천 사례 공유를 지원하는 증가하는 재사용 가능한 지식 기반을 조성한다.
• 모든 제출물에 대해 일관되고 투명하며 균일한 평가 기준을 보장함으로써, 재현성을 '무기화'할 위험을 줄인다.
• BioModelAnalyzer를 활용한 사례 연구는 이 사양을 실제 과학 소프트웨어에 적용하는 가능성과 실용성을 입증한다.