[논문 리뷰] Smoke: Fine-grained Lineage at Interactive Speed

Fotis Psallidas, Eugene Wu|arXiv (Cornell University)|2018. 01. 22.

Data Visualization and Analytics참고 문헌 68인용 수 15

한 줄 요약

Smoke는 물리적 데이터베이스 연산자에 선형성 로직을 밀접하게 통합하고, 왈 최적화된 선형성 데이터 구조와 워크로드 인식 최적화를 사용함으로써 인터랙티브 속도의 선형성 캡처와 쿼리 처리를 달성하는 고성능 메모리 기반 데이터베이스 엔진이다. 이는 선형성 캡처 오버헤드와 쿼리 지연 시간을 다수의 주기수만큼 감소시켜, 인터랙티브 시각화 및 데이터 프로파일링 워크로드에서 최신 기술 수준의 시스템과 수작업 최적화된 구현보다 뛰어난 성능을 발휘한다.

ABSTRACT

Data lineage describes the relationship between individual input and output data items of a workflow, and has served as an integral ingredient for both traditional (e.g., debugging, auditing, data integration, and security) and emergent (e.g., interactive visualizations, iterative analytics, explanations, and cleaning) applications. The core, long-standing problem that lineage systems need to address---and the main focus of this paper---is to capture the relationships between input and output data items across a workflow with the goal to streamline queries over lineage. Unfortunately, current lineage systems either incur high lineage capture overheads, or lineage query processing costs, or both. As a result, applications, that in principle can express their logic declaratively in lineage terms, resort to hand-tuned implementations. To this end, we introduce Smoke, an in-memory database engine that neither lineage capture overhead nor lineage query processing needs to be compromised. To do so, Smoke introduces tight integration of the lineage capture logic into physical database operators; efficient, write-optimized lineage representations for storage; and optimizations when future lineage queries are known up-front. Our experiments on microbenchmarks and realistic workloads show that Smoke reduces the lineage capture overhead and streamlines lineage queries by multiple orders of magnitude compared to state-of-the-art alternatives. Our experiments on real-world applications highlight that Smoke can meet the latency requirements of interactive visualizations (e.g., <150ms) and outperform hand-written implementations of data profiling primitives.

연구 동기 및 목표

• 데이터 선형성 시스템에서 낮은 선형성 캡처 오버헤드와 빠른 선형성 쿼리 성능를 균형 잡는 오랜 도전 과제를 해결한다.
• 성능 병목 현상으로 인해 현재 수작업 최적화되어야 하는 저지연 선형성 쿼리가 필요한 인터랙티브 애플리케이션—예를 들어 시각화 및 데이터 프로파일링—을 가능하게 한다.
• 선형성 캡처를 물리적 쿼리 실행과 함께 공동 설계함으로써 선형성 캡처 비용과 선형성 쿼리 효율성 간의 트레이드오프를 제거한다.
• 실제 사용 사례에서 수작업으로 작성된 코드와 비교해도 성능이 동등하거나 이를 초월할 수 있음을 입증한다.

제안 방법

• 시스템 경계를 넘는 고비용의 호출과 가상 함수 호출을 방지하기 위해 선형성 캡처를 물리적 데이터베이스 연산자에 밀접하게 통합한다.
• 저장소 및 업데이트 비용을 최소화하기 위해 왈 최적화된 메모리 기반 데이터 구조를 사용해 선형성 표현을 구현한다.
• 미래의 선형성 쿼리에 대한 사전 지식을 활용해 불필요한 선형성 메타데이터를 물리적으로 생성하지 않도록 한다.
• 기존 쿼리 패턴을 기반으로 한 워크로드 인식 최적화, 예를 들어 연기된 선형성 캡처와 선택적 색인화를 적용한다.
• 선형성 전파를 네이티브로 지원하는 물리적 대수를 사용해 효율적인 후행 및 전행 선형성 쿼리 쿼리를 가능하게 한다.
• 인터랙티브 및 배치 워크로드에 최적화된 성능을 제공하기 위해 즉각적(eager) 및 지연적(lazy) 선형성 쿼리 실행 전략을 모두 지원한다.

실험 결과

연구 질문

• RQ1 선형성 캡처를 얼마나 효율적으로 개선할 수 있을까? 이는 성능을 희생시키지 않고 인터랙티브 애플리케이션을 지원할 수 있을 정도로 효율적이어야 한다.
• RQ2 선형성 캡처를 물리적 데이터베이스 연산자에 직접 통합함으로써 오버헤드를 얼마나 줄일 수 있을까?
• RQ3 워크로드 인식 최적화는 불필요한 선형성 물리적 생성을 얼마나 효과적으로 줄이고 성능 향상에 기여할 수 있을까?
• RQ4 실제 데이터 프로파일링 및 시각화 작업에서 선형성 기반 구현이 수작업 최적화된 코드의 성능을 따라하거나 초월할 수 있을까?
• RQ5 기능적 종속성 탐지와 같은 복잡한 실세계 워크로드에 적용했을 때 선형성 시스템의 성능 특성은 어떠한가?

주요 결과

• Smoke는 선형성 캡처 오버헤드를 기본 쿼리 실행 비용의 1.2배 이내로 줄여 거의 0에 가까운 성능 손실을 입증했다.
• 기능적 종속성 위반 탐지에서 UGuide(Metanome-UG)와 같은 최신 기술 수준의 시스템보다 2~6배 빠르며, 더 단순한 Smoke-CD 접근 방식이 전체적으로 가장 빠른 성능을 보였다.
• Smoke의 선형성 쿼리 처리는 150ms 이내의 지연 시간을 달성해 인터랙티브 시각화의 요구 조건을 충족시켰다.
• Smoke의 선형성 기반 데이터 프로파일링 프리미티브는 수작업 최적화된 구현과 동등하거나 이를 초월하는 성능을 보였다.
• 사전 지식이 있는 쿼리 정보를 활용함으로써 Smoke는 관련 없는 선형성을 물리적으로 생성하지 않아 저장소 및 런타임 비용을 크게 감소시켰다.
• Smoke의 물리적 대수와 왈 최적화된 선형성 구조는 기존 시스템 대비 선형성 쿼리 성능을 다수의 주기수만큼 향상시켰다.