[논문 리뷰] Towards a scientific blockchain framework for reproducible data analysis

Cesare Furlanello, Manlio De Domenico외 2명|arXiv (Cornell University)|2017. 07. 20.

Scientific Computing and Data Management인용 수 8

한 줄 요약

이 논문은 생명과학 분야에서 과학적 재현 가능성을 향상시키기 위해 블록체인 기반 프레임워크 PROBO를 제안한다. 이 프레임워크는 신뢰할 수 없는 환경에서도 변하지 않게 데이터, 방법, 분석 워크플로우를 투명한 레거시에 기록함으로써, 연구자가 재현 가능성을 검증하는 데 보상하는 명성 기반 보상 체계를 통해 최종 결과의 영구적 접근성과 과학자 및 기관의 정량적 명성 순위를 보장한다.

ABSTRACT

Publishing reproducible analyses is a long-standing and widespread challenge for the scientific community, funding bodies and publishers. Although a definitive solution is still elusive, the problem is recognized to affect all disciplines and lead to a critical system inefficiency. Here, we propose a blockchain-based approach to enhance scientific reproducibility, with a focus on life science studies and precision medicine. While the interest of encoding permanently into an immutable ledger all the study key information-including endpoints, data and metadata, protocols, analytical methods and all findings-has been already highlighted, here we apply the blockchain approach to solve the issue of rewarding time and expertise of scientists that commit to verify reproducibility. Our mechanism builds a trustless ecosystem of researchers, funding bodies and publishers cooperating to guarantee digital and permanent access to information and reproducible results. As a natural byproduct, a procedure to quantify scientists' and institutions' reputation for ranking purposes is obtained.

연구 동기 및 목표

• 미국 내에서만 연간 약 280억 달러의 비용이 드는 전임상 연구의 재현 불가능성 문제를 해결하기 위해.
• 연구자, 기관, 출판사가 협력하여 과학적 데이터와 방법에 대해 영구적이고 투명한 접근을 보장하는 탈중앙화된, 신뢰할 수 없는 생태계를 조성하기 위해.
• 블록체인으로 검증된 기여와 연결된 명성 기반 보상 메커니즘을 도입하여 재현 가능성을 검증하는 과학자들을 의미 있게 인cent라이즈하기 위해.
• 자동화된 과학적 워크플로우 추적 및 검증을 가능하게 하기 위해 데이터, 방법, 결과의 표준화된 기계로 읽을 수 있는 기술적 기술을 개발하기 위해.
• 재현 가능한 과학에 기여한 바가 검증된 연구자와 기관을 자연스럽게 순위 매길 수 있는 절차를 제공하기 위해.

제안 방법

• 모든 과학적 연구의 핵심 구성 요소인 데이터, 메타데이터, 프rotocols, 분석 방법, 결과를 암호학적으로 해시하고 타임스탬프로 기록하는 블록체인 기반 레거시를 활용한다.
• 데이터, 전처리, 분석, 결과의 기술적 기술을 표준화하기 위해 구조화된 입력 및 출력 블록 형식(프로보 주도자 입력/출력 블록)을 정의한다. 이는 소프트웨어 및 하드웨어 버전 정보를 포함한다.
• 소프트웨어 버전, 파rameter, 계산 환경 등 모든 단계를 기계로 읽을 수 있고 검증 가능한 형식으로 인코딩하여 종단 간 재현 가능성을 보장한다.
• 연구자가 분석을 성공적으로 검증할 경우 명성 포인트를 획득하는 명성 메커니즘을 도입하며, 이러한 포인트는 블록체인에 저장되고 공개적으로 추적 가능하다.
• 데이터 무결성과 원시 데이터, 처리된 파일, 분석 결과 간 위조 불가능한 연결을 보장하기 위해 암호학적 해싱(예: MD5)을 적용한다.
• 실제 생물정보학 응용 사례에서 프레임워크의 실현 가능성을 입증하기 위해 딥러닝 모델을 사용한 10×5 교차검증 데이터 분석 프로토콜(DAP)을 적용한다.

실험 결과

연구 질문

• RQ1 블록체인 기반 시스템이 연구 생애 주기 전반에 걸쳐 과학적 데이터, 방법, 결과를 영구적이고 불변하며 암호학적으로 검증 가능한 방식으로 기록할 수 있는가?
• RQ2 탈중앙화되고 신뢰할 수 없는 환경에서 연구자가 재현 가능성을 의미 있게 검증하도록 유도하는 방법은 무엇인가?
• RQ3 표준화된 기계로 읽을 수 있는 과학적 워크플로우 기술이 생명과학 연구의 투명성을 향상시키고 재현 불가능성을 줄일 수 있는가?
• RQ4 블록체인 기반의 명성 시스템이 재현 가능한 과학에 기여한 바에 기반해 연구자와 기관을 정량적으로 순위 매길 수 있는 정도는 어느 정도인가?
• RQ5 제안된 프레임워크는 현재 과학적 출판 및 데이터 공유 관행에서의 책임성과 추적 가능성 부족 문제를 어떻게 해결하는가?

주요 결과

• PROBO 프레임워크는 원시 데이터에서 최종 결과에 이르기까지 모든 과학적 단계에 대해 불변이며 암호학적으로 보호된 기록을 생성함으로써, 완전한 감사 가능성과 추적 가능성을 보장한다.
• 모든 분석 파rameter, 소프트웨어 버전, 하드웨어 구성 정보를 인코딩함으로써 방법론 재현 시의 모호성을 제거한다.
• 시스템은 연구자와 기관이 재현 가능성에 기여한 검증된 기여에 기반해 자연스럽고 정량적인 명성 메커니즘을 지원한다.
• 실제 생물정보학 응용 사례에서, CT 스캔과 RNA-Seq 데이터를 포함한 다중 유형의 데이터 분석 파이프라인을 완전한 버전 관리와 해싱을 통해 성공적으로 인코딩했다.
• 데이터 분할, 재표본 추출, 모델 훈련 절차의 엄격한 표준화된 문서화를 통해 선택 편향과 과적합의 위험을 줄였다.
• 시스템은 블록체인 기술이 개방 과학을 위한 기초 인프라로 기능할 수 있음을 입증하였으며, 학술계, 산업계, 출판사 간의 신뢰할 수 없는 협업을 가능하게 한다.