[논문 리뷰] Distributed Dependency Discovery

Hemant Saxena, Lukasz Golab외 1명|arXiv (Cornell University)|2019. 03. 12.

Data Quality and Management참고 문헌 19인용 수 5

한 줄 요약

이 논문은 대규모 데이터 시스템에서 분산 종속성 탐지의 체계적인 분석과 최적화를 위해 6개의 기본 원소로 구성된 프레임워크를 제안한다. 이 프레임워크는 논리적 설계와 물리적 구현을 분리함으로써, 기존 알고리즘을 이러한 원소들을 활용해 재설계함으로써, 통신 최적화 및 분산 친화적인 설계가 중심화된 알고리즘의 단순 병렬화보다 한 단계 이상 높은 성능을 달성할 수 있음을 입증한다.

ABSTRACT

We analyze the problem of discovering dependencies from distributed big data. Existing (non-distributed) algorithms focus on minimizing computation by pruning the search space of possible dependencies. However, distributed algorithms must also optimize communication costs, especially in shared-nothing settings, leading to a more complex optimization space. To understand this space, we introduce six primitives shared by existing dependency discovery algorithms, corresponding to data processing steps separated by communication barriers. Through case studies, we show how the primitives allow us to analyze the design space and develop communication-optimized implementations. Finally, we support our analysis with an experimental evaluation on real datasets.

연구 동기 및 목표

• 공유되지 않는 클러스터에서 통신 비용이 과도하게 발생하는 환경에서 기능적, 유일성 컬럼, 순서, 거부 종속성을 효율적으로 탐지하는 문제를 해결하기 위해.
• 기존 종속성 탐지 알고리즘의 핵심 데이터 처리 단계를 통신 장벽으로 분리하여 규명하고 형식화하기 위해.
• 논리적 및 물리적 계획 분해를 통해 분산 종속성 탐지에서 계산과 통신 간의 트레이드오프 공간을 systematic하게 탐색할 수 있도록 하기 위해.
• 중심화된 알고리즘을 분산 인식 최적화 기법을 사용해 재설계함으로써, 단순 병렬화 대비 뚜렷한 성능 향상을 이끌어내기 위해.

제안 방법

• 저자들은 종속성 탐지 알고리즘을 통신 장벽으로 분리된 6개의 논리적 원소로 분해하여, 계산 비용과 통신 비용을 모듈식으로 분석할 수 있도록 한다.
• 이들 원소를 사용해 알고리즘 논리를 표현하는 논리적 탐지 계획(Logical Discovery Plans, LDPs)을 도입함으로써 설계와 구현을 분리한다.
• LDP의 구체적 구현으로서 물리적 탐지 계획(Physical Discovery Plans, PDPs)을 정의하여 분포 전략 및 자원 할당을 조정할 수 있도록 한다.
• FastFDs 및 TANE와 같은 알고리즘에 대해 기존(중앙집중형 기반) 및 분산 우아한 LDP를 모두 생성하는 사례 연구를 지원한다.
• 실제 데이터셋을 사용해 Spark 클러스터에서 성능을 평가하며, 다양한 물리적 구현 간의 통신 오버헤드와 실행 시간을 비교한다.
• 데이터 왜곡, 파artitioning, 중간 결과 감소의 영향을 모델링함으로써 비용 기반 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존의 중심화된 종속성 탐지 알고리즘은 어떻게 공유되지 않는 클러스터에 효율적으로 분산 적용할 수 있는가?
• RQ2 종속성 탐지 알고리즘의 단순 병렬화에서 발생하는 주요 통신 및 계산 병목 현상은 무엇인가?
• RQ3 분산 인식 원소를 사용해 알고리즘을 재설계함으로써 통신 비용을 얼마나 줄일 수 있고 성능 향상을 얼마나 달성할 수 있는가?
• RQ4 동일한 논리 계획에 대해 다양한 물리적 구현 방식이 다양한 데이터 크기와 스키마 차원에서 런타임과 확장성에 어떤 영향을 미치는가?

주요 결과

• 분산 친화적인 FastFDs 버전은 단순 병렬화된 버전보다 한 단계 이상의 속도 향상을 달성하여, 통신 인식 설계의 영향을 입증한다.
• 60개 컬럼을 가진 ncvoter와 같은 데이터셋에서는 최소 커버 공간의 폭발로 인해 FastFDs가 메모리 부족 상태에 빠졌지만, HyFD와 TANE은 더 잘 스케일링되었다.
• 600만 행의 lineitem 데이터셋에서 TANE과 HyFD가 FastFDs를 앞서며, FastFDs는 48시간이 넘는 시간이 소요되어 분산 환경에서 알고리즘 선택의 중요성을 보여준다.
• Homicide 및 fd-reduced 데이터셋에서 하이브리드 알고리즘인 HyFD가 데이터 기반 및 스키마 기반 단계를 효율적으로 전환하여 전체 실행 시간을 줄여 가장 우수한 성능을 보였다.
• 109개 컬럼을 가진 flight 데이터셋에서 FastFDs는 99초에 완료되었지만, HyFD는 스키마 기반 단계에서의 높은 검증 비용으로 351초가 소요되어, 높은 컬럼 수에서 데이터 기반 알고리즘이 더 잘 스케일링됨을 보여준다.
• 노드 수가 증가함에 따라 로컬로 탐지된 FD의 정밀도가 급격히 감소하여, 10개 노드에서 TPC-H lineitem 테이블의 정밀도가 50% 이하로 떨어졌으며, 이는 분산 환경에서 단순 로컬 탐지가 신뢰할 수 없다는 것을 증명한다.