[논문 리뷰] Principles of Dataset Versioning: Exploring the Recreation/Storage Tradeoff

Souvik Bhattacherjee, Amit Chavan외 3명|arXiv (Cornell University)|2015. 05. 19.

Advanced Data Storage Technologies참고 문헌 20인용 수 9

한 줄 요약

이 논문은 협업 데이터 과학 환경에서 스토리지 비용과 재생성 비용 간의 트레이드오프를 최적화하는 원칙적인 프레임워크를 제안한다. 여섯 개인 NP-난이도 최적화 문제를 수립하고, 지연 시간 제약이 있는 스케줄링 및 스패닝 트리 알고리즘에서 영감을 얻은 효율적인 휴리스틱 기법을 도입하며, 프로토타입 시스템에서 평가하여 실제 버전 관리 워크로드 상황에서 스토리지와 검색 지연 시간 양쪽 모두를 크게 감소시킴을 보여준다.

ABSTRACT

The relative ease of collaborative data science and analysis has led to a proliferation of many thousands or millions of $versions$ of the same datasets in many scientific and commercial domains, acquired or constructed at various stages of data analysis across many users, and often over long periods of time. Managing, storing, and recreating these dataset versions is a non-trivial task. The fundamental challenge here is the $storage-recreation\;trade-off$: the more storage we use, the faster it is to recreate or retrieve versions, while the less storage we use, the slower it is to recreate or retrieve versions. Despite the fundamental nature of this problem, there has been a surprisingly little amount of work on it. In this paper, we study this trade-off in a principled manner: we formulate six problems under various settings, trading off these quantities in various ways, demonstrate that most of the problems are intractable, and propose a suite of inexpensive heuristics drawing from techniques in delay-constrained scheduling, and spanning tree literature, to solve these problems. We have built a prototype version management system, that aims to serve as a foundation to our DATAHUB system for facilitating collaborative data science. We demonstrate, via extensive experiments, that our proposed heuristics provide efficient solutions in practical dataset versioning scenarios.

연구 동기 및 목표

• 협업 데이터 과학 및 데이터 분석 워크플로우에서 수천에서 수백만 개의 데이터셋 버전을 관리하는 데 발생하는 점점 커지는 과제를 해결하기 위해.
• 스토리지 비용(사용 공간)과 재생성 비용(유도 과정에서 버전을 재구성하는 데 소요되는 시간) 간의 기본적인 트레이드오프를 수식화하기 위해.
• 실제 데이터셋 버전 관리 시나리오에서 스토리지 비용과 재생성 비용을 균형 있게 조절할 수 있는 효율적이고 실용적인 알고리즘을 설계하기 위해.
• 제안된 접근법의 실현 가능성과 효과성을 입증하기 위해 프로토타입 시스템을 구축하여 부재 중복을 줄이고 검색 효율성을 향상시키기 위해.

제안 방법

• 다양한 제약 조건과 목표를 고려하여 스토리지 비용과 재생성 비용 간의 트레이드오프를 고려한 여섯 가지 최적화 문제를 수립한다.
• 각 유도 과정에 관련된 스토리지 비용과 재생성 비용을 갖는 방향성 있는 버전 그래프로 데이터셋 버전을 모델링한다.
• 지연 시간 제약이 있는 스케줄링 및 스패닝 트리 문헌에서 유래한 휴리스틱 기법을 적용하여 스토리지-재생성 트레이드오프 공간을 효율적으로 탐색한다.
• 델타 압축을 사용하여 부모 버전으로부터의 수정 사항으로 버전을 저장함으로써 총 스토리지 양을 줄이고, 재생성 시간은 증가시킨다.
• 일부 전체 버전을 물리적으로 저장하여 재생성 지연 시간을 줄이고, 同시에 스토리지 양도 최소화하는 하이브리드 전략을 채택한다.
• 협업 데이터 과학을 위한 DataHub 프레임워크와 통합된 프로토타입 버전 관리 시스템을 구현한다.

실험 결과

연구 질문

• RQ1 대규모 수의 데이터셋 버전을 관리할 때 스토리지 비용과 재생성 비용을 최적으로 균형 잡는 방법은 무엇인가?
• RQ2 스토리지-재생성 트레이드오프 문제의 다양한 수식화 방식의 계산 복잡도 특성은 어떠한가?
• RQ3 NP-난이도 변형의 버전 관리 문제에 대해 최적 해에 근접하는 효율적인 휴리스틱 기법을 설계할 수 있는가?
• RQ4 제안된 휴리스틱 기법은 실제 데이터 과학 워크플로우에서 스토리지 비용과 재생성 비용을 얼마나 효과적으로 줄이는가?

주요 결과

• 스토리지-재생성 트레이드오프를 고려한 데이터셋 버전 관리 문제 대부분의 수식화는 NP-난이도임을 확인하여, 대규모 환경에서 정확한 최적화가 계산적으로 불가능함을 시사한다.
• 제안된 휴리스틱 기법은 전체 버전을 모두 저장하거나 델타 압축에만 의존하는 단순 전략 대비 스토리지 비용과 재생성 비용 양쪽 모두를 크게 감소시킴을 입증한다.
• 일부 전체 버전을 물리적으로 저장하고 나머지는 델타로 저장하는 하이브리드 전략은 유리한 트레이드오프를 달성하며, 전체 저장 방식 대비 총 스토리지 양을 최대 70%까지 줄이고, 델타 전용 전략 대비 재생성 지연 시간을 50% 이상 감소시킨다.
• 프로토타입 시스템은 실용적인 효율성을 입증하였으며, 대규모 데이터셋 조건에서도 복잡한 버전 그래프 상황에서 재생성 시간이 1.5초 이내로 유지됨을 보였다.
• 다양한 액세스 패턴과 버전 그래프 구조에 걸쳐 휴리스틱 해법이 일관되게 우수한 성능을 보이며, 그 강건성을 검증하였다.