[논문 리뷰] DataHub: Collaborative Data Science & Dataset Version Management at Scale

Anant Bhardwaj, Souvik Bhattacherjee외 5명|arXiv (Cornell University)|2014. 09. 02.

Scientific Computing and Data Management참고 문헌 21인용 수 112

한 줄 요약

이 논문은 Git을 영감으로 삼았지만 구조적 및 비구조적 데이터셋에 최적화된 데이터셋 버전 관리 시스템 DSVC와 대규모 데이터 과학을 위한 협업 플랫폼(DATAHUB)을 제안한다. 이는 스케일링 가능한 버전 관리, 분기, 병합, 그리고 선언적 쿼리 기능을 제공하며, 중복을 줄이고 효율성을 향상시키기 위해 새로운 스토리지 및 델타 계산 기법을 활용한다.

ABSTRACT

Relational databases have limited support for data collaboration, where teams collaboratively curate and analyze large datasets. Inspired by software version control systems like git, we propose (a) a dataset version control system, giving users the ability to create, branch, merge, difference and search large, divergent collections of datasets, and (b) a platform, DataHub, that gives users the ability to perform collaborative data analysis building on this version control system. We outline the challenges in providing dataset version control at scale.

연구 동기 및 목표

• 데이터 과학 팀에서 스케일링 가능한 협업 기반 데이터셋 버전 관리의 부재를 해결하기 위해.
• 지능적인 버전 관리와 델타 인코딩을 통해 대규모 협업 환경에서의 스토리지 팽창과 중복을 줄이기 위해.
• 다양한 사용자와 변화하는 데이터 제품 간의 데이터셋 버전에 대한 효율적인 쿼리, 기원 추적, 복원을 가능하게 하기 위해.
• 데이터 정제, 검색, 시각화 도구를 제공하는 협업 기반 데이터 분석을 지원하는 호스팅 플랫폼(DATAHUB)을 제공하기 위해.

제안 방법

• 대규모 이질적 데이터셋을 위한 분기, 병합, 버전 기반 데이터 관리 기능을 지원하는 데이터셋 버전 제어 시스템인 DSVC를 제안한다.
• 효율적 검색을 위한 버전 우선 표현과 효율적 쿼리 및 기원 추적을 위한 레코드 우선 표현을 결합한 이중 스토리지 표현 방식을 적용한다.
• 파일 수준의 차이가 아닌 레코드 수준의 변화를 식별하기 위해 데이터베이스 인식 델타 계산 기법을 사용하여 대규모 데이터셋에 대한 효율성을 향상시킨다.
• 물리적 차이 감지의 가속화와 I/O 오버헤드 감소를 위해 해시 트리 구조와 워크로드 인식 스토리지 레이아웃을 적용한다.
• 버전 그래프에서 검색 비용을 최소화하기 위해 최적화 포인트로 스티너 데이터셋을 도입한다.
• 인덱싱, 캐싱, 쿼리 결과의 물리적 재사용을 통해 일반적인 작업과 VQL(버전 기반 쿼리 언어) 실행을 가속화한다.

실험 결과

연구 질문

• RQ1 대규모 분산 데이터 과학 팀이 테라바이트 규모의 구조적 및 비구조적 데이터셋을 관리할 수 있도록 데이터셋 버전 관리를 어떻게 스케일링할 수 있는가?
• RQ2 다중 버전 데이터셋 시스템에서 빠른 쿼리 평가와 압축된 스토리지 모두를 가능하게 하는 효율적인 표현 방식과 데이터 구조는 무엇인가?
• RQ3 분기 및 병합을 지원하면서도 스토리지 비용과 검색 비용을 최소화하기 위해 버전 그래프는 어떻게 최적화하여 표현할 수 있는가?
• RQ4 파일 수준의 바이너리 델타 계산에 의존하지 않고도 대규모 데이터셋 간의 효율적이고 스케일링 가능한 차이 계산을 위한 기법은 무엇인가?
• RQ5 DATAHUB와 같은 호스팅 플랫폼은 어떻게 버전 관리 기능을 협업 기반 데이터 분석 워크플로우에 효과적으로 통합할 수 있는가?

주요 결과

• DSVC는 대규모 데이터셋의 효율적 분기 및 병합을 가능하게 하여 이전에는 기존의 버전 제어나 파일 시스템으로는 비현실적이었던 협업 기반 데이터 과학 워크플로우를 실현한다.
• 이중 표현 방식(버전 우선 및 레코드 우선)은 각각 효율적 검색과 효율적 쿼리 기능을 가능하게 하며, 인덱싱과 캐싱을 통해 성능 트레이드오���을 관리한다.
• 데이터베이스 인식 델타 계산은 파일 수준의 차이 계산에 의존하는 메모리 집약적인 방식을 피하고 레코드 수준의 변화를 식별함으로써 스토리지 오버헤드를 감소시킨다.
• 버전 그래프 인코딩에 스티너 데이터셋을 활용함으로써 버전 간 경로 최적화를 통해 검색 비용을 감소시킨다.
• 시스템은 중복 스토리지 감소와 함께 데이터셋의 결정론적 재생성을 가능하게 하여 데이터 손실에 대한 우려를 완화하고 재현 가능성을 향상시킨다.
• 플랫폼는 파일 수준의 API를 통해 데이터에 투명하게 접근할 수 있도록 하여 기존의 데이터 과학 파이프라인과의 후행 호환성을 확보한다.