[논문 리뷰] "Can I Implement Your Algorithm?": A Model for Reproducible Research Software

Tom Crick, Benjamin A. Hall외 1명|Cronfa (Swansea University)|2014. 07. 22.

Scientific Computing and Data Management참고 문헌 19인용 수 10

한 줄 요약

이 논문은 과학적 소프트웨어의 재현 가능성을 보장하기 위해 종속성 관리, 지속적 통합, 벤치마크를 자동화하는 클라우드 기반의 개방형 플랫폼을 제안한다. 표준화된, 버전 관리가 되는 환경에서 코드를 호스팅하고 공개된 캐리어된 벤치마크를 제공함으로써, 도구 간의 자동 테스트와 공정한 비교를 가능하게 하여 계산 과학 분야의 재현 가능성에 크게 기여한다.

ABSTRACT

The reproduction and replication of novel results has become a major issue for a number of scientific disciplines. In computer science and related computational disciplines such as systems biology, the issues closely revolve around the ability to implement novel algorithms and approaches. Taking an approach from the literature and applying it to a new codebase frequently requires local knowledge missing from the published manuscripts and project websites. Alongside this issue, benchmarking, and the development of fair --- and widely available --- benchmark sets present another barrier. In this paper, we outline several suggestions to address these issues, driven by specific examples from a range of scientific domains. Finally, based on these suggestions, we propose a new open platform for scientific software development which effectively isolates specific dependencies from the individual researcher and their workstation and allows faster, more powerful sharing of the results of scientific software engineering.

연구 동기 및 목표

• 계산 과학 분야(예: 시스템 생물학, 컴퓨터 과학)에서 과학적 소프트웨어의 재현성 위기 증가 문제를 해결하기 위해.
• 누락된 구현 세부 정보나 문서화되지 않은 종속성으로 인해 발표된 알고리즘을 재구현하기 어려운 장벽을 줄이기 위해.
• 객관적인 도구 비교를 가능하게 하기 위해 공정하고 표준화되고 공개 가능한 벤치마크를 촉진하기 위해.
• 인centives와 기관적 지원을 통해 소스 코드 및 계산 자료의 개방적 공유를 장려하기 위해.
• 클라우드에서 과학적 소프트웨어를 호스팅하고 테스트하기 위한 지속 가능하고 공동으로 유지 관리되는 인프라를 구축하기 위해.

제안 방법

• 연구자 개인의 워크스테이션에서 소프트웨어 종속성을 분리하는 클라우드 호스팅 플랫폼을 제안한다.
• 모든 푸시 및 종속성 업데이트 시 자동으로 코드를 재빌드하고 테스트하는 지속적 통합을 통합한다.
• 모든 도구가 사용하고 기여할 수 있는 표준 형식으로 공개된, 캐리어된 벤치마크 세트를 호스팅한다.
• 웹 인터페이스 및 인터랙티브 환경(예: Try F#)을 지원하여 사용자가 로컬 설치 없이 도구를 탐색할 수 있도록 한다.
• 표준화된 문제 해결 챌린지에 구현을 참가자로 등록함으로써 알고리즘 경쟁을 가능하게 한다.
• 자료 평가 트랙 및 저널 인정과 같은 인센티브를 적용하여 개방적이고 재현 가능한 관행의 도입을 촉진한다.

실험 결과

연구 질문

• RQ1 고수준 또는 모호한 서술로 인해 제3자가 발표된 알고리즘을 실제로 재현할 수 있도록 보장할 수 있는 방법은 무엇인가?
• RQ2 과학적 소프트웨어와 그 벤치마크가 로컬 환경에 종속되지 않고 재사용 가능하고, 버전 관리가 되며 독립적으로 유지될 수 있는 메커니즘은 무엇인가?
• RQ3 공개된, 표준화되고 캐리어된 벤치마크가 도구 평가의 공정성과 비교 가능성에 어떻게 기여할 수 있는가?
• RQ4 클라우드 기반의 지속적 통합이 장기적인 재현 가능성 유지와 코드의 부패 방지를 위해 어떤 역할을 할 수 있는가?
• RQ5 기관적 인센티브와 공동체 인프라는 연구자가 소스 코드와 계산 자료를 공유하도록 유도하는 데 어떤 역할을 할 수 있는가?

주요 결과

• 제안된 플랫폼은 종속성을 분리하고 매 코드 푸시 시 벤치마크를 실행함으로써 과학적 소프트웨어의 자동화되고 재현 가능한 테스트를 가능하게 한다.
• 표준 형식으로 공개된 공동체 캐리어된 벤치마크는 편향을 줄이고 도구 비교의 공정성을 향상시킨다.
• 클라우드 기반의 지속적 통합은 기반 라이브러리나 플랫폼의 변화가 있어도 소프트웨어가 기능하고 최신 상태를 유지하도록 보장한다.
• 인터랙티브 웹 인터페이스를 통해 사용자는 복잡한 종속성을 설치하지 않고도 도구를 탐색하고 테스트할 수 있다.
• 코드의 부패를 방지하고 구현이 장기간에 걸쳐 접근 가능하고 테스트 가능하도록 함으로써, 이 모델은 장기적인 재현 가능성을 지원한다.
• 학회 및 저널의 지원을 받는 이러한 플랫폼의 기관적 도입은 계산 과학 분야에서 재현 가능한 연구의 사실상 표준이 될 수 있다.