[論文レビュー] Open Data Fabric: A Decentralized Data Exchange and Transformation Protocol With Complete Reproducibility and Provenance

Sergii Mikhtoniuk, Özge Nilay Yalçın|arXiv (Cornell University)|Nov 11, 2021

Scientific Computing and Data Management被引用数 5

ひとこと要約

オープン・データ・ファブリック（ODF）は、不変データセット、決定論的ストリーム処理、およびレーダー基盤のメタデータ追跡を用いて、安全で再現可能かつ検証可能なデータ交換および変換を実現する分散型プロトコルです。ODFは、データをストリーミング計算グラフ内の第一級のバージョン管理済みで合成可能な資産として扱うことで、エンドツーエンドのプロバンセンス追跡、低遅延なデータ伝搬、中央機関に依存しない協働を可能にします。

ABSTRACT

Data is the most powerful decision-making tool at our disposal. However, despite the exponentially growing volumes of data generated in the world, putting it to effective use still presents many challenges. Relevant data seems to be never there when it is needed - it remains siloed, hard to find, hard to access, outdated, and of bad quality. As a result, governments, institutions, and businesses remain largely impaired in their ability to make data-driven decisions. At the same time, data science is undergoing a reproducibility crisis. The results of the vast majority of studies cannot be replicated by other researchers, and provenance often cannot be established, even for data used in medical studies that affect lives of millions. We are losing our ability to collaborate at a time when significant improvements to data are badly needed. We believe that the fundamental reason lies in the modern data management processes being entirely at odds with the basic principles of collaboration and trust. Our field needs a fundamental shift of approach in how data is viewed, how it is shared and transformed. We must transition away from treating data as static, from exchanging it as anemic binary blobs, and instead focus on making multi-party data management more sustainable: such as reproducibility, verifiability, provenance, autonomy, and low latency. In this paper, we present the Open Data Fabric, a new decentralized data exchange and transformation protocol designed from the ground up to simplify data management and enable collaboration around data on a similar scale as currently seen in open-source software.

研究の動機と目的

• データ科学における再現性の危機に対処するため、検証可能で追跡可能かつ決定論的なデータ変換を可能にすること。
• 中央機関に依存せず、機関や発行者間でリアルタイムで分散型のデータ共有を可能にすることで、データのスロットルを解消し、データの流動性を向上させること。
• 中央機関に依存しない信頼できない分散型インfra構造を構築し、データ協働を可能にすること。
• 検証可能なメタデータとプロバンセンス追跡を通じて、データ発行者と消費者の間のフィードバックループを閉じること。
• すべての変換が決定論的で完全に監査可能であることを保証することで、データの再利用を効率的かつ信頼できるものにすること。

提案手法

• ODFは、暗号ハッシュを用いて整合性とバージョニングを確保する不変で真実の出所となるデータセットを根幹とする。
• 派生データセットは、完全なラインレージとプロバンセンスを保持する決定論的かつ状態保持型のストリーム処理パイプラインによって作成される。
• メタデータチェーンは、トランザクション整合性を強制し、分散エンジン間での一貫性を保証するためのコーディネータコンponentによって管理される。
• ウォーターマークとチェックポイントを用いて、時間的状態を管理し、イベントストリーム処理における正しさを保証する。ウォーターマークは変換経路を自動的に伝搬する。
• エンジンはコーディネータから分離されており、標準化されたODFエンジンインタフェースを介して、任意の標準ストリーム処理フレームワークにラップ可能である。
• システムはメタデータにレーダー基盤のモデルを採用しており、すべてのデータセット変換が暗号的に検証可能かつ監査可能であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 中央機関が存在しない分散型データワークフローにおいて、どのようにしてデータのプロバンセンスと再現性を保証できるか？
• RQ2 分散型のデータ発行者と消費者間で、低遅延かつ高忠実度のデータ伝搬を実現するためのアーキテクチャパターンは何か？
• RQ3 決定論的かつ状態保持型のストリーム処理を、不変データアーティファクトとどのように統合することで、検証可能性と信頼性を確保できるか？
• RQ4 データ消費者と発行者の間のフィードバックループを閉じるためのメカニズムは何か？これにより、データ品質と最新性がどのように向上するか？
• RQ5 異種のシステムや組織間で、完全に監査可能で合成可能なデータ変換パイプラインをどのように実現できるか？

主な発見

• ODFは、決定論的処理と不変データセットアーティファクトを強制することで、データ変換の完全な再現性を実現し、同じ入力から同一の結果を再実行可能であることを保証する。
• ウォーターマークとチェックポイントの使用により、遅延データが状態保持計算を損なうのを防ぎ、再計算をゼロから行わずに障害からの回復を可能にする。
• コーディネータがメタデータチェーンを管理することで、すべてのラインレージ、スキーマ変更、変換ロジックが暗号的に監査可能であることを保証し、メタデータの整合性が維持される。
• データ処理とメタデータ管理を分離し、ストリーム処理エンジンの並列かつ分散実行を可能にすることで、ODFは低遅延でリアルタイムのデータ伝搬をサポートする。
• データを合成可能でバージョニング済みかつ検証可能な資産として扱うことで、ODFはデータセットの検証と信頼性の確保に要する時間と労力を大幅に削減し、データ再利用と協働の効率を著しく向上させる。
• 中央機関に依存せずエンドツーエンドの信頼性を実現するため、ODFは公衆衛生や科学的研究所などの高リスク分野に適したインフラを提供する。