[논문 리뷰] Full Computational Reproducibility in Biological Science: Methods, Software and a Case Study in Protein Biology

Les Hatton, Gregory W. Warr|arXiv (Cornell University)|2016. 08. 24.

Scientific Computing and Data Management참고 문헌 26인용 수 6

한 줄 요약

이 논문은 생물학적 과학에서 완전한 계산적 재현 가능성을 달성하기 위한 실용적인 프레임워크를 제시한다. 이는 오픈소스 도구를 사용하고 스위스프로트 단백질 데이터베이스에 대한 사례 연구를 통해 입증되었다. 자동화된 스크립트, 버전 관리된 데이터, 그리고 회귀 테스트를 통해 그림, 표, 통계 분석의 종단 간 재현 가능성을 보장하며, 현지에서 생성된 결과가 정확히 출판된 결과와 일치함을 보장한다.

ABSTRACT

Independent computational reproducibility of scientific results is rapidly becoming of pivotal importance in scientific progress as computation itself plays a more and more central role in so many branches of science. Historically, reproducibility has followed the familiar Popperian [38] model whereby theory cannot be verified by scientific testing, it can only be falsified. Ultimately, this implies that if an experiment cannot be reproduced independently to some satisfactory level of precision, its value is essentially unquantifiable; put brutally, it is impossible to determine its scientific value. The burgeoning presence of software in most scientific work adds a new and particularly opaque layer of complexity [29]. In spite of much recent interest in many scientific areas, emphasis remains more on procedures, strictures and discussion [12, 14, 16, 29, 30, 37, 41], reflecting the inexperience of most scientific journals when it comes to software, rather than the details of how computational reproducibility is actually achieved, for which there appear to be relatively few guiding examples [6, 10, 17]. After considering basic principles, here we show how full computational reproducibility can be achieved in practice at every stage using a case study of a multi-gigabyte protein study on the open SwissProt protein database, from data download all the way to individual figure by figure reproduction as an exemplar for general scientific computation.

연구 동기 및 목표

• 투명하지 않은 소프트웨어와 문서화되지 않은 워크플로우로 인해 증가하는 생물학 연구 분야의 계산적 재현 불가능성 문제를 해결하기 위해.
• 오픈소스 도구와 체계적인 소프트웨어 공학 관행을 사용하여 실질적으로 완전한 계산적 재현 가능성이 가능하다는 것을 입증하기 위해.
• 연구자가 단일 소스 파일에서 수기, 그림, 표, 통계 분석을 생성할 수 있는 구체적이고 재사용 가능한 템플릿을 제공하기 위해.
• 완전한 재현 가능성을 계산 생물학의 표준으로 만들기 위해 자금 및 기관 지원을 촉구하기 위해.
• 과학 계산과 전통적 생물학 연구 간 격차를 메우기 위해 실용적이고 단계별로 구현 가능한 방법론을 제공하기 위해.

제안 방법

• 버전 관리된 오픈소스 소프트웨어(예: R, Perl, Linux)의 사용을 통해 시스템 간 이식성과 투명성을 확보하기 위해.
• 각 구성 요소(예: 그림 1A, 1B, 1C)가 개별적으로 생성되는 전용 스크립트를 통해 모든 그림과 표를 자동으로 생성하기 위해.
• 모든 데이터, 스크립트, 기준 결과를 포함하는 재현 가능성 패키지를 생성하기 위해.
• 로컬에서 생성된 데이터 파일과 출판된 기준 버전을 비교하기 위해 `diff` 명령어를 사용한 회귀 테스트 파이프라인을 구현하기 위해.
• 결과의 시각적 및 프로그래밍적 검증이 가능하도록 인간이 읽을 수 있는 형식(예: .dat, .eps)을 사용하기 위해.
• 모든 표와 그림 데이터가 출판된 그대로 정확히 재현되는 통계 분석 스크립트(예: R 스크립트)를 통합하기 위해.

실험 결과

연구 질문

• RQ1 오픈소스 도구와 표준 소프트웨어 공학 관행만을 사용하여 생물학 연구에서 완전한 계산적 재현 가능성이 달성될 수 있는가?
• RQ2 연구자가 단일 소스에서 매뉴얼의 모든 그림, 표, 통계 분석을 독립적으로 재현할 수 있도록 보장하는 방법은 무엇인가?
• RQ3 로컬에서 생성된 결과가 출판된 결과와 높은 정밀도로 일치하는지를 검증하는 데 사용할 수 있는 메커니즘은 무엇인가?
• RQ4 비공개 시스템과 형식은 개방적이고 투명한 시스템에 비해 재현 가능성을 얼마나 방해하는가?
• RQ5 계산 생물학에서 완전한 재현 가능성을 도입하는 데 있어 실질적인 장벽은 무엇이며, 이를 어떻게 극복할 수 있는가?

주요 결과

• 스위스프로트 데이터베이스에 대한 수기 기반의 다기가바이트 단백질 연구에서 오픈소스 도구와 자동화된 스크립트만을 사용하여 완전한 계산적 재현 가능성이 성공적으로 달성되었다.
• 각 그림과 표는 전용 스크립트를 통해 독립적으로 생성되어 모듈성과 검증 가능성이 보장되었다.
• 로컬에서 생성된 데이터 파일과 기준 데이터 파일 간의 차이를 `diff` 명령어를 사용한 회귀 테스트가 신뢰성 있게 식별하였으며, 차이점은 전용 출력 파일에 기록되었다.
• 단일 매뉴얼 파일을 입력으로 사용하여 3D 플롯이 포함된 모든 그림과 모든 통계 분석을 정확히 재현할 수 있었다.
• 이 방법은 표준 데스크톱 시스템에서 실행 가능하지만, 데이터 및 소프트웨어 형식의 투명성 부족으로 인해 비공개 플랫폼인 윈도우에서는 더 어려움을 겪을 수 있다.
• 이 연구는 완전한 재현 가능성이 단지 가능할 뿐 아니라 실용적임을 입증하였으며, 연구자가 체계적인 소프트웨어 관행과 기관 지원에 투자할 경우 이를 달성할 수 있음을 보여준다.