[논문 리뷰] Enumerating Subgraph Instances Using Map-Reduce

Foto Afrati, Dimitris Fotakis외 1명|arXiv (Cornell University)|2012. 08. 02.

Graph Theory and Algorithms참고 문헌 19인용 수 6

한 줄 요약

이 논문은 큰 데이터 그래프 내에서 임의의 샘플 그래프의 모든 인스턴스를 효율적으로 열거하기 위한 단일 라운드 Map-Reduce 프레임워크를 제시한다. 이는 통신 및 계산 비용을 최소화한다. 최적의 다중 경로 조인 기법과 조건부 쿼리 분해를 활용하여 통신 최적화 성능과 degree-bounded 그래프에서 순차적 복잡도와 동일한 성능을 보장하는 알고리즘을 달성한다.

ABSTRACT

The theme of this paper is how to find all instances of a given "sample" graph in a larger "data graph," using a single round of map-reduce. For the simplest sample graph, the triangle, we improve upon the best known such algorithm. We then examine the general case, considering both the communication cost between mappers and reducers and the total computation cost at the reducers. To minimize communication cost, we exploit the techniques of (Afrati and Ullman, TKDE 2011)for computing multiway joins (evaluating conjunctive queries) in a single map-reduce round. Several methods are shown for translating sample graphs into a union of conjunctive queries with as few queries as possible. We also address the matter of optimizing computation cost. Many serial algorithms are shown to be "convertible," in the sense that it is possible to partition the data graph, explore each partition in a separate reducer, and have the total computation cost at the reducers be of the same order as the computation cost of the serial algorithm.

연구 동기 및 목표

• 주어진 샘플 그래프의 모든 인스턴스를 대규모 데이터 그래프에서 열거하기 위한 확장 가능하고 단일 라운드 Map-Reduce 알고리즘을 설계하는 것.
• 결합 쿼리에 대한 최적의 다중 경로 조인 기법을 활용하여 메이퍼와 리듀서 간의 통신 비용을 최소화하는 것.
• 리듀서에서의 총 계산 비용이 최고의 순차 알고리즘의 복잡도와 일치하도록 보장하여 '변환 가능성(conwertibility)'을 확보하는 것.
• 특히 노드의 차수(degree)가 √m 이하로 제한될 경우의 성능을 분석하는 것.
• 프레임워크를 레이블링된 그래프 및 방향성 그래프로 확장하고, Map-Reduce에서의 효율적 병렬화의 한계를 탐색하는 것.

제안 방법

• 샘플 그래프를 통합된 조건부 쿼리(CQs)의 집합으로 변환하여 쿼리 수를 최소화하고 통신 오버헤드를 감소시킨다.
• 모든 필요한 부분그래프 구성 요소가 공유되는 방식으로 엣지를 리듀서에 분산시키기 위해 키 해싱 전략을 사용하여 데이터 전송을 최소화한다.
• 통신 비용을 줄이기 위해 [2]에서 제안한 단일 Map-Reduce 라운드에서의 최적 다중 경로 조인 평가 기법을 적용한다.
• 계산 효율성을 확보하기 위해 데이터 그래프를 분할하고 각 분할을 별개의 리듀서에 할당하여 원래 순차 알고리즘의 작업 복잡도를 유지한다.
• 조건 기반 최적화를 도입: 중간 관계의 크기에 특정 크기 제약 조건이 충족되면, 더 낮은 복잡도의 실행 경로로 전환한다.
• 레이블링 및 방향성 그래프를 관계의 집합으로 표현하고 부분그래프 인스턴스를 CQs의 통합으로 표현함으로써 레이블링 및 방향성 그래프를 처리한다.

실험 결과

연구 질문

• RQ1 임의의 샘플 그래프의 모든 인스턴스를 통신 비용이 이론적 최소값에 가까운 단일 Map-Reduce 라운드에서 열거할 수 있는가?
• RQ2 샘플 그래프를 표현하는 데 사용되는 조건부 쿼리의 수를 최소화하면 통신 및 계산 오버헤드를 어떻게 줄일 수 있는가?
• RQ3 어떤 조건에서 순차 부분그래프 열거 알고리즘이 총 계산 비용이 동일한 병렬 Map-Reduce 알고리즘으로 변환될 수 있는가?
• RQ4 데이터 그래프의 노드 차수를 √m로 제한하면, 통신 및 계산 비용이 더 낮은, 증명 가능한 우수한 변환 가능 알고리즘이 도출되는가?
• RQ5 효율성과 정확성을 유지하면서 프레임워크를 레이블링 또는 방향성 그래프로 얼마나 넓게 확장할 수 있는가?

주요 결과

• 제안된 알고리즘은 다중 경로 조인 평가에 대한 이론적 하한선과 동일한 통신 비용을 달성하여 통신 면에서 최적임을 입증한다.
• 노드의 차수가 √m 이하로 제한되는 데이터 그래프의 경우, 부분그래프 발생 수에 대한 알려진 하한선과 일치하는 빠른 실행 시간을 보이는 개선된 변환 가능 알고리즘을 제시한다.
• 리듀서에서의 총 계산 비용이 최고의 알려진 순차 알고리즘과 동일한 순서의 복잡도를 가지므로 '변환 가능성'을 달성한다.
• 쿼리 계획에서 중간 관계의 크기가 특정 부등식을 충족할 경우(예: n₁n₅n₃ ≤ n₂n₄), 복잡도가 낮은 실행 경로로 전환되며, 이 경우 비용은 n₁n₅n₃가 되며, 이는 상한이자 하한이 된다.
• 레이블링 및 방향성 그래프에 대해 CQs의 통합으로 표현함으로써 동일한 핵심 최적화 기법을 유지하면서 일반화된다.
• 사용되는 리듀서의 수는 고유 키의 수로 제한되며, 고정된 리듀서 수 조건 하에서 리듀서 수를 최소화하면 통신 비용이 감소함을 입증한다.