[논문 리뷰] Towards a unified query language for provenance and versioning

Amit Chavan, Silu Huang외 4명|arXiv (Cornell University)|2015. 06. 16.

Scientific Computing and Data Management참고 문헌 22인용 수 6

한 줄 요약

이 논문은 협업 데이터 과학 워크플로우에서 버전화된 데이터셋과 그 기원을 쿼리하기 위한 통합 쿼리 언어인 VQuel을 제안한다. 이는 분기된 버전 히스토리와 풀 레벨 기원에 대해 표현력 있고 그래프 탐색 기반의 쿼리를 가능하게 하며, SQL이나 기존 기원 언어로는 구현이 어려운 복잡한 분석 작업을 지원한다.

ABSTRACT

Organizations and teams collect and acquire data from various sources, such as social interactions, financial transactions, sensor data, and genome sequencers. Different teams in an organization as well as different data scientists within a team are interested in extracting a variety of insights which require combining and collaboratively analyzing datasets in diverse ways. DataHub is a system that aims to provide robust version control and provenance management for such a scenario. To be truly useful for collaborative data science, one also needs the ability to specify queries and analysis tasks over the versioning and the provenance information in a unified manner. In this paper, we present an initial design of our query language, called VQuel, that aims to support such unified querying over both types of information, as well as the intermediate and final results of analyses. We also discuss some of the key language design and implementation challenges moving forward.

연구 동기 및 목표

• 협업 데이터 과학 플랫폼에서 버전 관리와 기원 쿼리에 대한 통합 쿼리 언어의 부재를 해결하기 위해.
• 대규모이고 이질적인 데이터셋에서 분기된 버전 그래프와 풀 레벨 기원에 대해 표현력 있는 쿼리 기능을 제공하기 위해.
• 데이터 과학자들이 저수준 스크립트를 작성하지 않고도 데이터셋의 진화, 기원, 버전 간 차이를 효율적으로 분석할 수 있도록 하기 위해.
• 버전 인식 및 기원 인식 작업을 하나의 통합된 프레임워크 안에서 지원하는 쿼리 언어를 설계하기 위해.
• 압축된 버전화된 데이터 스토어에서 이러한 쿼리의 효율적 실행과 최적화를 위한 기반을 마련하기 위해.

제안 방법

• 역사적 언어인 Quel과 GEM를 영감으로 삼되, 시간적 요소와 그래프 탐색 구조를 추가한 VQuel를 설계한다.
• 버전 그래프를 탐색하기 위해 범위 및 경로 표현식을 도입하며, 예를 들어 'V.N(2)'로 두 단계 떨어진 버전에 접근할 수 있다.
• 그래프 쿼리 언어 유사한 구조를 사용해 버전 유도 그래프에 대한 경로 쿼리와 재귀적 탐색을 지원한다.
• 표현식 'count(V.Relations.Tuples)'와 'abs(diff)'를 통해 버전 간 집계 및 비교를 가능하게 한다.
• 파생된 풀에서 원본 풀로의 기원 추적을 위해 'parents'와 'id' 조인을 통해 풀 레벨 기원 쿼리를 지원한다.
• 하이브리드 실행 전략을 제안한다: 먼저 메타데이터와 버전 그래프를 사용해 관련 버전을 필터링한 후, 선택된 버전에서 쿼리를 재구성하고 실행한다.

실험 결과

연구 질문

• RQ1 분기된 구조적 데이터셋의 버전 히스토리에 대해 복잡한 작업을 효율적으로 표현할 수 있는 쿼리 언어는 어떻게 설계할 수 있는가?
• RQ2 협업 데이터 과학에서 버전 관리와 기원 쿼리 기능을 통합하기 위해 필요한 언어 구조는 무엇인가?
• RQ3 완전한 재구성 없이도 큰 규모의 겹치는 데이터셋 버전 간 쿼리를 어떻게 효율적으로 실행할 수 있는가?
• RQ4 버전화된 데이터 시스템에서 스토리지 압축과 쿼리 성능 사이의 상충 관계는 무엇인가?
• RQ5 풀 레벨 기원을 고수준 쿼리 언어에 어떻게 통합하여 상호작용적인 데이터 분석을 가능하게 할 수 있는가?

주요 결과

• VQuel은 버전화된 데이터셋에 대해 표현력 있고 그래프 탐색 기반의 쿼리를 가능하게 하며, 예를 들어 지정된 커밋 수 이내의 버전을 찾거나, 버전 간 풀 수를 비교하는 등의 작업을 지원한다.
• 이 언어는 경로 쿼리와 기원 추적을 지원하여 사용자가 재귀적 부모 관계를 통해 풀의 원본을 찾을 수 있다.
• 'v01에서 2개의 커밋 이내에 있으며 직원 수가 100명 이하인 모든 버전을 찾기'와 같은 쿼리는 간결하고 가독성 있는 형태로 표현 가능하다.
• 논문은 재구성된 버전 위에서의 난이도 높은 쿼리 실행이 계산적으로 비용이 많이 든다는 점을 밝혀냈다. 특히 겹치는 버전의 수가 많을 경우 더욱 그렇다.
• 주요 과제는 전체 재구성 비용을 피할 수 있도록 압축된 표현을 직접 다룰 수 있는 실행 기법을 개발하는 것이다.
• 저자들은 두 단계 실행 모델을 제안한다: 먼저 메타데이터를 사용해 관련 버전을 필터링한 후, 재구성된 버전에서 쿼리를 실행한다. 그러나 압축 인식 실행의 효율성은 여전히 열린 연구 과제로 남아 있다.