[논문 리뷰] Skew in Parallel Query Processing

Paul Beame, Paraschos Koutris외 1명|arXiv (Cornell University)|2014. 01. 09.

Graph Theory and Algorithms참고 문헌 12인용 수 11

한 줄 요약

이 논문은 데이터 스케일이 있는 단일 라운드 병렬 시스템에서 $ p $ 서버를 사용한 조건부 쿼리 계산에 대한 날카운 통신 복잡도 한계를 확립한다. 쿼리와 잔여 쿼리의 분수 모서리 포장 프레임워크를 도입하여, 다항로그 $ p $ 요소를 제외한 상한과 하한이 일치하는 결과를 도출하며, 이는 이전 결과를 스케일된 데이터로 일반화하고, 스케일 인식 병렬 쿼리 처리에 대한 최초의 공식 하한을 제공한다.

ABSTRACT

We study the problem of computing a conjunctive query q in parallel, using p of servers, on a large database. We consider algorithms with one round of communication, and study the complexity of the communication. We are especially interested in the case where the data is skewed, which is a major challenge for scalable parallel query processing. We establish a tight connection between the fractional edge packings of the query and the amount of communication, in two cases. First, in the case when the only statistics on the database are the cardinalities of the input relations, and the data is skew-free, we provide matching upper and lower bounds (up to a poly log p factor) expressed in terms of fractional edge packings of the query q. Second, in the case when the relations are skewed and the heavy hitters and their frequencies are known, we provide upper and lower bounds (up to a poly log p factor) expressed in terms of packings of residual queries obtained by specializing the query to a heavy hitter. All our lower bounds are expressed in the strongest form, as number of bits needed to be communicated between processors with unlimited computational power. Our results generalizes some prior results on uniform databases (where each relation is a matching) [4], and other lower bounds for the MapReduce model [1].

연구 동기 및 목표

• 병렬 쿼리 처리에서 데이터 스케일 문제를 다루기 위해, 주요 유저가 서버 간 로드 불균형을 유발하는 상황을 해결한다.
• 단일 라운드 병렬 모델에서 조건부 쿼리를 계산하기 위한 통신 비용에 대한 공식 하한을 설정한다.
• 기존의 균일한 데이터베이스에 대한 연구를 더 현실적인 스케일된 데이터, 즉 알려진 주요 유저와 빈도를 가진 데이터로 확장한다.
• 분수 모서리 포장과 잔여 쿼리 포장 기반으로 통신 복잡도에 대해 상한과 하한이 일치하는 결과(다항로그 $ p $ 요소를 제외한)를 제공한다.
• MapReduce 및 MPC 모델의 이전 결과를 스케일된 데이터를 다룰 수 있도록 일반화하고, 더 강력한 이론적 보장을 제공한다.

제안 방법

• 저자는 $ p $ 서버를 가진 단일 라운드 통신 모델을 사용하여 문제를 모델링하며, 입력 관계의 카디널리티와 주요 유저의 신원 및 빈도를 사전에 안다고 가정한다.
• 무제한 계산 능력을 가진다고 가정할 때, 서버 간 전송된 비트 수를 기반으로 통신 비용을 정의한다.
• 스케일이 없는 데이터의 경우, 쿼리의 초그래프 표현에 대한 분수 모서리 포장으로 통신 비용을 제한한다.
• 스케일된 데이터의 경우, 원본 쿼리를 각 주요 유저에 대해 특수화하여 생성된 잔여 쿼리의 분수 모서리 포장으로 비용을 제한한다.
• 상한을 구성하기 위한 기준선으로 HyperCube 알고리즘을 사용하며, 분수 모서리 포장에 의해 차원을 최적화한다.
• 분수 모서리 커버와 통신 복잡도 사이의 이중성 원리를 활용하여 최적화된 분수 포장에 기반한 이론적 한계를 유도한다.

실험 결과

연구 질문

• RQ1 데이터가 스케일된 상황에서 단일 라운드로 조건부 쿼리를 계산하기 위해 필요한 최소 통신량은 얼마인가?
• RQ2 주요 유저는 병렬 쿼리 처리의 통신 복잡도에 어떤 영향을 미치며, 이를 정량적으로 모델링할 수 있는가?
• RQ3 쿼리 또는 그 잔여 형태의 분수 모서리 포장이 스케일 상황에서 통신 비용에 대해 날카운 한계를 제공할 수 있는가?
• RQ4 스케일이 없는 경우의 한계는 알려진 주요 유저가 있는 스케일된 데이터베이스로 어떻게 일반화될 수 있는가?
• RQ5 기존의 모델들인 MapReduce나 MPC는 스케일 상황에서의 통신 비용을 얼마나 잘 반영하지 못하며, 이를 어떻게 확장할 수 있는가?

주요 결과

• 스케일이 없는 데이터베이스의 경우, 통신 비용은 쿼리의 초그래프에 대한 분수 모서리 포장에 의해 날카운 한계를 가진다(다항로그 $ p $ 요소를 제외한).
• 스케일된 데이터베이스의 경우, 통신 비용은 원본 쿼리를 각 주요 유저에 대해 특수화하여 생성된 잔여 쿼리의 분수 모서리 포장에 의해 날카운 한계를 가진다(다항로그 $ p $ 요소를 제외한).
• 이 한계는 상한과 하한 모두이며, 가장 강력한 형태로 증명된다: 무제한 계산 능력을 가진 서버 간 전송되어야 하는 비트 수로 정의된다.
• 이 결과는 이전의 균일한 데이터베이스에 대한 연구를 일반화하며, MapReduce 모델에서 알려진 하한을 스케일된 데이터로 확장한다.
• HyperCube 알고리즘은 최적의 분수 모서리 포장에 따라 차원을 선택할 경우 상한에 도달한다.
• MapReduce 스타일 모델에서의 복제율은 관계 크기가 다를 경우에도 분수 모서리 포장과 관계 크기에 대한 함수로 하한이 존재한다.