[논문 리뷰] Open Data Fabric: A Decentralized Data Exchange and Transformation Protocol With Complete Reproducibility and Provenance

Sergii Mikhtoniuk, Özge Nilay Yalçın|arXiv (Cornell University)|2021. 11. 11.

Scientific Computing and Data Management인용 수 5

한 줄 요약

오픈 데이터 패브릭(ODF)는 불변 데이터셋, 결정론적 스트림 처리, 레거시 기반 메타데이터 추적을 사용하여 안전하고 재현 가능하며 검증 가능한 데이터 교환 및 변환을 위한 탈중앙화된 프로토콜이다. 이는 데이터를 스트리밍 컴퓨팅 그래프 내에서 제1급의, 버전 관리가 되고 조합 가능한 자산으로 간주함으로써, 종단 간의 기원 추적, 저지연 데이터 전파, 중앙 기관에 의존하지 않는 분산된 데이터 공급자와 소비자 간 협업을 가능하게 한다.

ABSTRACT

Data is the most powerful decision-making tool at our disposal. However, despite the exponentially growing volumes of data generated in the world, putting it to effective use still presents many challenges. Relevant data seems to be never there when it is needed - it remains siloed, hard to find, hard to access, outdated, and of bad quality. As a result, governments, institutions, and businesses remain largely impaired in their ability to make data-driven decisions. At the same time, data science is undergoing a reproducibility crisis. The results of the vast majority of studies cannot be replicated by other researchers, and provenance often cannot be established, even for data used in medical studies that affect lives of millions. We are losing our ability to collaborate at a time when significant improvements to data are badly needed. We believe that the fundamental reason lies in the modern data management processes being entirely at odds with the basic principles of collaboration and trust. Our field needs a fundamental shift of approach in how data is viewed, how it is shared and transformed. We must transition away from treating data as static, from exchanging it as anemic binary blobs, and instead focus on making multi-party data management more sustainable: such as reproducibility, verifiability, provenance, autonomy, and low latency. In this paper, we present the Open Data Fabric, a new decentralized data exchange and transformation protocol designed from the ground up to simplify data management and enable collaboration around data on a similar scale as currently seen in open-source software.

연구 동기 및 목표

• 데이터 과학 분야의 재현성 위기를 해결하기 위해 검증 가능하고 추적 가능하며 결정론적인 데이터 변환을 가능하게 하기 위해.
• 기관과 공급자 간 실시간 탈중앙화된 데이터 공유를 통해 데이터 사각지대를 제거하고 데이터 유동성을 향상시키기 위해.
• 중앙 기관에 의존하지 않는 신뢰할 수 없는 탈중앙화된 인fra를 구축하기 위해.
• 검증 가능한 메타데이터와 기원 추적을 통해 데이터 공급자와 소비자 간 피드백 루프를 닫기 위해.
• 모든 변환이 결정론적이며 완전히 감사 가능하도록 보장함으로써 데이터 재사용을 효율적이고 신뢰할 수 있게 만들기 위해.

제안 방법

• ODF는 암호학적 해싱을 통해 무결성과 버전 관리를 보장하는 불변이며 진실의 근원이 되는 루트 데이터셋을 사용한다.
• 유도 데이터셋은 전체 기원과 기원 추적을 유지하는 결정론적이고 상태 기반의 스트림 처리 파이프라인을 통해 생성된다.
• 메타데이터 체인은 트랜잭션 무결성을 강제하고 분산 엔진 간 일관성을 보장하는 코ordinating 컴포넌트에 의해 관리된다.
• 워터마크와 체크포인트는 시간적 상태를 관리하고 이벤트 스트림 처리의 정확성을 보장하며, 워터마크는 변환 과정을 자동으로 전파한다.
• 엔진은 코ordinating 컴포넌트에서 분리되어 있으며, 표준화된 ODF 엔진 인터페이스로 감싸진 표준 스트림 처리 프레임워크이면 어떤 것도 가능하다.
• 시스템은 레거시 기반 모델을 사용하여 모든 데이터셋 변환이 암호학적으로 검증 가능하고 감사 가능하도록 보장한다.

실험 결과

연구 질문

• RQ1 중앙 기관이 없는 환경에서 탈중앙화된 데이터 워크플로우에서 기원 추적과 재현 가능성을 어떻게 보장할 수 있는가?
• RQ2 분산된 데이터 공급자와 소비자 간에 저지연, 고정밀도 데이터 전파를 가능하게 하는 아키텍처 패턴은 무엇인가?
• RQ3 결정론적이고 상태 기반의 스트림 처리를 불변 데이터 아티팩트와 통합하여 검증 가능성과 신뢰를 확보할 수 있는가?
• RQ4 데이터 소비자와 공급자 간 피드백 루프를 닫기 위한 메커니즘은 무엇인가? 이를 통해 데이터 품질과 최신성은 어떻게 향상될 수 있는가?
• RQ5 이질적인 시스템과 조직 간에 완전히 감사 가능하고 조합 가능한 데이터 변환 파이프라인은 어떻게 설계할 수 있는가?

주요 결과

• ODF는 결정론적 처리와 불변 데이터셋 아티팩트를 강제함으로써 데이터 변환의 완전한 재현 가능성을 보장하며, 동일한 입력에서 동일한 결과를 재실행할 수 있음을 보장한다.
• 워터마크와 체크포인트의 사용은 늦은 데이터가 상태 기반 계산을 손상시키는 것을 방지하고, 다시 시작하지 않고도 장애 복구를 가능하게 하여 스트림 처리의 정확성을 확보한다.
• 코ordinating 컴포넌트가 메타데이터 체인을 관리함으로써 메타데이터의 무결성이 유지되며, 모든 기원, 스키마 변경 및 변환 로직이 암호학적으로 감사 가능하다.
• 데이터 처리를 메타데이터 관리에서 분리하고 스트림 처리 엔진의 병렬 및 분산 실행을 가능하게 함으로써, ODF는 저지연으로 실시간 데이터 전파를 지원한다.
• 데이터를 조합 가능하고, 버전 관리가 되며, 검증 가능한 자산으로 간주함으로써, ODF는 데이터셋 검증과 신뢰 확보에 소요되는 시간과 노력을 크게 줄여 데이터 재사용과 협업 효율성을 크게 향상시킨다.
• 중앙 기관에 의존하지 않고도 데이터에 대한 종단 간의 신뢰를 확보할 수 있으므로, 공중보건 및 과학 연구와 같은 고위험 분야에 적합하다.