[논문 리뷰] Vision Paper: Towards an Understanding of the Limits of Map-Reduce Computation

Foto Afrati, Anish Das Sarma외 2명|arXiv (Cornell University)|2012. 04. 08.

Graph Theory and Algorithms참고 문헌 9인용 수 23

한 줄 요약

이 논문은 복제율—입력이 전송되는 리듀서의 평균 수—를 정의하여 맵-리듀스 계산의 한계를 분석하기 위한 형식적 모델을 제안한다. 히브밍 거리-1 및 삼각형 탐지와 같은 문제에 대해 복제율에 대한 날카운 상한을 확립하여, 더 높은 병렬성(리듀서당 입력 수 감소)은 복제를 증가시킨다는 것을 보이며, 이러한 상한을 충족하는 알고리즘을 제시함으로써 맵-리듀스 시스템에서 병렬성과 통신 비용 사이의 본질적인 상충관계를 드러낸다.

ABSTRACT

A significant amount of recent research work has addressed the problem of solving various data management problems in the cloud. The major algorithmic challenges in map-reduce computations involve balancing a multitude of factors such as the number of machines available for mappers/reducers, their memory requirements, and communication cost (total amount of data sent from mappers to reducers). Most past work provides custom solutions to specific problems, e.g., performing fuzzy joins in map-reduce, clustering, graph analyses, and so on. While some problems are amenable to very efficient map-reduce algorithms, some other problems do not lend themselves to a natural distribution, and have provable lower bounds. Clearly, the ease of "map-reducability" is closely related to whether the problem can be partitioned into independent pieces, which are distributed across mappers/reducers. What makes a problem distributable? Can we characterize general properties of problems that determine how easy or hard it is to find efficient map-reduce algorithms? This is a vision paper that attempts to answer the questions described above.

연구 동기 및 목표

• 맵-리듀스 계산의 기본 한계를 이해하고, 특히 병렬성과 통신 비용 사이의 상충관계를 분석하기 위해.
• 입력-출력 관계를 모델링하여 맵-리듀스 환경에서의 데이터 관리 문제의 '분산 가능성' 개념을 형식화하기 위해.
• 맵-리듀스에서의 통신 오버헤드와 알고리즘 효율성의 핵심 지표로 복제율을 정량화하기 위해.
• 특정 문제에 대해 복제율에 대한 증명 가능한 하한을 유도하여 높은 병렬성을 달성하는 데 있어 본질적인 제약을 보여주기 위해.
• 삼각형 탐지 및 히브밍 거리-1과 같은 문제에 대해 알려진 알고리즘이 이론적 하한에 가까운 복제율을 달성함을 보여주기 위해.

제안 방법

• 유한한 입력 및 출력 집합으로 문제를 정의하고, 각 출력이 특정 입력 집합에 매핑됨을 통해 데이터 유래 관계를 포괄하는 형식적 모델을 제안한다.
• 입력이 전송되는 리듀서의 평균 수인 복제율을 도입하며, 이는 통신 비용과 직접적으로 관련된다.
• 히브밍 거리-1 문제에 대해 기하학적 접근을 사용한다. 문자열을 초입방에서 점으로 모델링하고 경계점 분석을 통해 복제율을 계산한다.
• 삼각형 탐지 문제에 대해 조합 분석을 적용한다. q개의 입력이 주어졌을 때 리듀서가 커버할 수 있는 삼각형의 최대 수를 제한하며, 크기 k의 완전 부분그래프를 사용한다.
• 총 입력 수 |I|, 출력 수 |O|, 및 리듀서당 최대 출력 커버리지 g(q)를 조합하여 복제율에 대한 하한을 유도한다. 이로 인해 ∑q_i / |I| ≥ n / √(2q) 를 도출한다.
• 프레임워크를 다중 방향 조인으로 일반화하여, 아리티 a인 a개의 관계에 대해 m-항 조인의 경우 O(q^{1−m/a}n^{m−a})의 상한을 도출한다.

실험 결과

연구 질문

• RQ1 어떤 문제의 구조적 성질이 맵-리듀스 모델에서 효율적으로 계산되는 데 있어 본질적인 어려움을 결정하는가?
• RQ2 기본적인 문제들에 대해 병렬성 증가(리듀서당 입력 수 감소)에 따라 복제율—입력이 전송되는 리듀서의 평균 수—가 어떻게 변화하는가?
• RQ3 통일된 형식적 접근을 통해 히브밍 거리-1 및 삼각형 탐지와 같은 문제에 대해 복제율에 대한 날카운 하한을 도출할 수 있는가?
• RQ4 삼각형 탐지 및 유사도 조인에 대해 알려진 맵-리듀스 알고리즘이 복제율 이론적 하한에 얼마나 가까운가?
• RQ5 이 모델을 다중 방향 조인 및 기타 복잡한 데이터 관리 연산을 포괄하도록 어떻게 일반화할 수 있는가?

주요 결과

• 히브밍 거리-1 문제의 경우 복제율은 1 + d/k 이하로 제한되며, 여기서 d는 문자열 길이이고 k는 리듀서당 비트 수이다. 초입방 분할을 통해 이 하한이 날카롭게 달성된다.
• 삼각형 탐지 문제에서 복제율 하한은 r ≥ n / √(2q) 이며, 여기서 n은 노드 수이고 q는 리듀서당 최대 입력 수이다. 이는 삼각형 커버리지에 대한 조합적 제약에서 유도된다.
• 모델은 병렬성 증가(즉, q 감소)에 따라 복제율이 증가해야 하며, 이는 피할 수 없는 통신 비용 상충관계를 시사한다.
• 기존의 삼각형 탐지 알고리즘은 이론적 하한에 대해 상수 요인 내에서 복제율을 달성하며, 이는 도출된 한계의 날카로움을 확인한다.
• 프레임워크는 다중 방향 조인으로 일반화되며, 아리티 a인 a개의 관계에 대해 m-항 조인의 경우 O(q^{1−m/a}n^{m−a})의 상한을 도출한다. 이는 동일한 상충관계가 널리 적용된다는 것을 보여준다.
• 이 모델은 자연 조인, 그룹화-합계, 유사도 조인, 그래프 패턴 매칭 등 다양한 문제를 효과적으로 포괄하며, 광범위한 적용 가능성을 보여준다.