[论文解读] Towards a scientific blockchain framework for reproducible data analysis

Cesare Furlanello, Manlio De Domenico+2 more|arXiv (Cornell University)|Jul 20, 2017

Scientific Computing and Data Management被引用 8

一句话总结

本文提出了一种基于区块链的框架 PROBO，通过在无需信任的透明账本中不可篡改地记录数据、方法和分析工作流，以增强生命科学领域的科学可重复性。通过基于声誉的奖励机制激励研究人员验证可重复性，该框架确保了经验证结果的永久可访问性，并实现了对科学家和机构的可量化声誉排名。

ABSTRACT

Publishing reproducible analyses is a long-standing and widespread challenge for the scientific community, funding bodies and publishers. Although a definitive solution is still elusive, the problem is recognized to affect all disciplines and lead to a critical system inefficiency. Here, we propose a blockchain-based approach to enhance scientific reproducibility, with a focus on life science studies and precision medicine. While the interest of encoding permanently into an immutable ledger all the study key information-including endpoints, data and metadata, protocols, analytical methods and all findings-has been already highlighted, here we apply the blockchain approach to solve the issue of rewarding time and expertise of scientists that commit to verify reproducibility. Our mechanism builds a trustless ecosystem of researchers, funding bodies and publishers cooperating to guarantee digital and permanent access to information and reproducible results. As a natural byproduct, a procedure to quantify scientists' and institutions' reputation for ranking purposes is obtained.

研究动机与目标

• 为解决临床前研究中普遍存在的不可重复问题，该问题仅在美国每年就造成约 280 亿美元的损失。
• 创建一个去中心化、无需信任的生态系统，使研究人员、机构和出版商能够协作，确保科学数据和方法的永久、透明可访问。
• 通过引入与区块链验证贡献挂钩的基于声誉的奖励机制，激励科学家验证可重复性。
• 开发一种标准化、机器可读的数据、方法和结果描述方式，以实现对科学工作流的自动追踪和验证。
• 提供一种自然的程序，根据科学家和机构在可重复科学中的已验证贡献进行排名。

提出的方法

• 利用基于区块链的账本，对科学研究所涉及的关键组件（包括数据、元数据、实验方案、分析方法和结果）进行密码学哈希和时间戳处理。
• 定义结构化的输入和输出区块格式（PROBO 提案者输入/输出区块），以标准化描述数据、预处理、分析和结果，包含版本化的软件和硬件信息。
• 将所有步骤（包括软件版本、参数和计算环境）编码为机器可读、可验证的格式，以确保端到端的可重复性。
• 引入一种声誉机制，研究人员在成功验证分析后可获得声誉积分，这些积分存储在区块链上并可公开追踪。
• 采用密码学哈希（例如 MD5）确保数据完整性，并实现原始数据、处理后文件与分析结果之间不可伪造的关联。
• 在真实生物信息学用例中，应用 10×5 交叉验证数据分析协议（DAP）与深度学习模型，以证明该框架的可行性。

实验结果

研究问题

• RQ1 基于区块链的系统能否在研究生命周期中实现科学数据、方法和结果的永久、不可篡改且密码学可验证的日志记录？
• RQ2 在去中心化、无需信任的环境中，如何有意义地激励研究人员验证可重复性？
• RQ3 标准化的、机器可读的科学工作流描述能否提高透明度并减少生命科学领域研究的不可重复性？
• RQ4 基于区块链的声誉系统在多大程度上能根据科学家和机构对可重复科学的贡献进行定量排名？
• RQ5 该框架在多大程度上解决了当前科学出版和数据共享实践中缺乏问责制和可追溯性的问题？

主要发现

• PROBO 框架能够创建从原始数据到最终结果的不可篡改、密码学保护的记录，确保完整的可审计性和可追溯性。
• 通过编码所有分析参数、软件版本和硬件配置，该框架消除了方法复制中的模糊性。
• 该系统支持一种自然且可量化的声誉机制，根据对可重复性的已验证贡献对科学家和机构进行排名。
• 在真实生物信息学用例中，该框架成功编码了一个涉及 CT 扫描和 RNA-Seq 数据的多类型数据分析流水线，实现了完整的版本控制和哈希处理。
• 通过强制执行数据分割、重采样和模型训练程序的严格标准化记录，该框架降低了选择偏差和过拟合的风险。
• 该系统表明，区块链技术可作为开放科学的基础架构，支持学术界、产业界和出版商之间的无信任协作。