[論文レビュー] Towards a scientific blockchain framework for reproducible data analysis

Cesare Furlanello, Manlio De Domenico+2 more|arXiv (Cornell University)|Jul 20, 2017

Scientific Computing and Data Management被引用数 8

ひとこと要約

本論文は、生命科学分野における研究の再現可能性を向上させるために、ブロックチェーンベースのフレームワークPROBOを提案している。このフレームワークは、信頼性のない環境でも不変にデータ、手法、解析ワークフローを記録する透明性の高い台帳を提供する。研究者が再現性を検証する行動を報酬で奨励するレピュテーションベースの報酬制度を導入することで、検証済みの結果を永続的にアクセス可能にし、科学者や機関の信頼性ランク付けを定量的に行うことを可能にする。

ABSTRACT

Publishing reproducible analyses is a long-standing and widespread challenge for the scientific community, funding bodies and publishers. Although a definitive solution is still elusive, the problem is recognized to affect all disciplines and lead to a critical system inefficiency. Here, we propose a blockchain-based approach to enhance scientific reproducibility, with a focus on life science studies and precision medicine. While the interest of encoding permanently into an immutable ledger all the study key information-including endpoints, data and metadata, protocols, analytical methods and all findings-has been already highlighted, here we apply the blockchain approach to solve the issue of rewarding time and expertise of scientists that commit to verify reproducibility. Our mechanism builds a trustless ecosystem of researchers, funding bodies and publishers cooperating to guarantee digital and permanent access to information and reproducible results. As a natural byproduct, a procedure to quantify scientists' and institutions' reputation for ranking purposes is obtained.

研究の動機と目的

• 米国だけで年間約280億ドルの損失が生じると推定される、前臨床研究における再現不能な研究問題に対処すること。
• 研究者、機関、出版者らが協力して、科学的データと手法の永続的かつ透明なアクセスを保証する分散型で信頼性のないエコシステムを構築すること。
• ブロックチェーンで検証された貢献と結びつけたレピュテーションベースの報酬メカニズムを導入することで、再現性を検証する科学者をインセンティブ化すること。
• データ、手法、結果の標準化された機械可読記述を整備し、科学的ワークフローの自動追跡と検証を可能にすること。
• 再現可能な科学への貢献に基づいて、科学者や機関を自然にランク付けする手順を提供すること。

提案手法

• 科学的研究の主要な要素（データ、メタデータ、プロトコル、解析手法、結果）を暗号的にハッシュ化し、タイムスタンプを付与するブロックチェーンベースの台帳を活用する。
• データ、前処理、解析、結果の記述を標準化するための構造化された入力・出力ブロックフォーマット（PROBOプロポニアン入力/出力ブロック）を定義し、バージョン管理されたソフトウェアおよびハードウェアの詳細を含める。
• ソフトウェアのバージョン、パラメータ、計算環境といったすべてのステップを、機械可読で検証可能な形式にエンコードすることで、エンド・ツー・エンドの再現性を確保する。
• 研究者が解析を正常に検証した場合に、レピュテーションポイントを獲得するレピュテーションメカニズムを導入し、これらのポイントはブロックチェーン上に保存され、公開されて追跡可能である。
• データの完全性を保証し、生データ、処理済みファイル、解析結果の間の改ざん不能なリンクを確立するために、暗号ハッシュ（例：MD5）を採用する。
• 実際のバイオインフォマティクスのユースケースにおいて、フレームワークの実現可能性を示すために、深層学習モデルを用いた10×5交差検証データ分析プロトコル（DAP）を適用する。

実験結果

リサーチクエスチョン

• RQ1 ブロックチェーンベースのシステムは、研究ライフサイクル全体にわたり、永続的で不変かつ暗号的に検証可能な科学的データ、手法、結果の記録を保証できるか？
• RQ2 分散型で信頼性のない環境において、研究者が再現性を検証する行動を意味的にインセンティブ化する方法は何か？
• RQ3 標準化された機械可読の科学的ワークフロー記述は、生命科学分野の研究における透明性の向上と再現不能性の低減に寄与できるか？
• RQ4 ブロックチェーンベースのレピュテーションシステムは、再現可能な科学への貢献に基づいて、科学者や機関を定量的にランク付けできるか？
• RQ5 提案されたフレームワークは、現在の科学的出版およびデータ共有の慣行における責任のなさと追跡不能性の問題をどのように解決するか？

主な発見

• PROBOフレームワークは、生データから最終結果に至るまでのすべての科学的ステップを不変かつ暗号的に保護された記録として確保でき、完全な監査可能性と追跡可能性を実現する。
• すべての解析パラメータ、ソフトウェアのバージョン、ハードウェア構成をエンコードすることで、手法の再現における曖昧さが解消される。
• 本システムは、再現性への貢献に基づいて、自然で定量的なレピュテーションメカニズムを提供し、科学者や機関の評価を可能にする。
• 実際のバイオインフォマティクスのユースケースにおいて、CTスキャンとRNA-Seqデータを含むマルチタイプのデータ分析パイプラインが、完全なバージョニングとハッシュ化を伴って正常にエンコードされた。
• データ分割、リサンプリング、モデルトレーニング手順の厳密な標準化により、選択バイアスや過学習のリスクが低減される。
• 本システムは、ブロックチェーン技術が、学術界、産業界、出版者らが信頼を置いて協力可能なオープンサイエンスの基盤インfraとして機能できることを示している。