[논문 리뷰] Greedy and Local Ratio Algorithms in the MapReduce Model

Nicholas J. A. Harvey, Christopher Liaw외 1명|arXiv (Cornell University)|2018. 06. 17.

Complexity and Algorithms in Graphs인용 수 4

한 줄 요약

이 논문은 기본적인 그래프 및 최적화 문제에 대한 효율적인 MapReduce 알고리즘을 설계하기 위해 두 가지 새로운 기법—무작위 국소 비율(randomized local ratio)과 배고픈 그리디(hungry-greedy)—을 제안한다. 이는 각 기계당 부분선형 메모리 제약 하에 일정 수의 라운드 내에서 가중치 있는 정점 커버 및 매칭 문제에 대해 상수 라운드 2-근사, 가중치 있는 집합 커버 문제에 대해 f-근사, 가중치 있는 집합 커버 문제에 대해 (1+ε)ln∆-근사, 그리고 (1+o(1))Δ-색칠 알고리즘을 모두 달성한다.

ABSTRACT

MapReduce has become the de facto standard model for designing distributed algorithms to process big data on a cluster. There has been considerable research on designing efficient MapReduce algorithms for clustering, graph optimization, and submodular optimization problems. We develop new techniques for designing greedy and local ratio algorithms in this setting. Our randomized local ratio technique gives $2$-approximations for weighted vertex cover and weighted matching, and an $f$-approximation for weighted set cover, all in a constant number of MapReduce rounds. Our randomized greedy technique gives algorithms for maximal independent set, maximal clique, and a $(1+ε)\ln Δ$-approximation for weighted set cover. We also give greedy algorithms for vertex colouring with $(1+o(1))Δ$ colours and edge colouring with $(1+o(1))Δ$ colours.

연구 동기 및 목표

• 각 기계당 부분선형 메모리 제약 하에 고전적인 NP-난이도 최적화 문제에 대한 효율적인 MapReduce 알고리즘을 설계하기 위해.
• MapReduce와 같은 병렬 분산 모델에서 일반적으로 순차적인 알고리즘인 그리디 알고리즘과 국소 비율 알고리즘의 본질적 순차성 문제를 극복하기 위해.
• 정점 커버, 매칭, 집합 커버, 그래프 색칠 등의 문제에 대해 최적 또는 근접한 근사 비율을 달성하는 일정 수의 라운드 근사 알고리즘을 개발하기 위해.
• 근사 보장을 유지하면서도 랜덤 샘플링과 가중치 감소 전략을 활용하여 실용적이고 확장 가능한 구현을 가능하게 하기 위해.
• 특히 그래프 색칠 및 최대 클리크 문제와 같은 문제에서 표준 감소 기법이 공간 제약으로 인해 비가능한 경우 MapReduce의 한계를 해결하기 위해.

제안 방법

• 독립적으로 동일하게 분포된 샘플링을 수행하고, 샘플에 대해 국소 비율 알고리즘을 실행하며, 가중치 조정을 통해 미샘플링된 요소의 일정 비율을 제거하는 무작위 국소 비율 기법을 도입한다.
• 국소 비율 프레임워크 내에서 ε-조정된 가중치 감소를 적용하여, 비중량이 큰 간선이 일정 수의 라운드 내에 제거되도록 보장함으로써 근사 비율을 유지한다.
• 목적 함수 최적화를 위한 것이 아니라 문제 크기를 급격히 줄이고 빠른 수렴을 가능하게 하기 위해 고가중치 또는 고차수 요소를 우선 샘플링하는 '배고픈 그리디' 기법을 개발한다.
• 간선 또는 정점의 랜덤 샘플링을 통해 라운드 간의 차수 또는 가중치 감소에 대한 고확률 보장을 확보하기 위해 농도 경계(예: 체르노프 경계)를 활용한다.
• 감소된 가중치를 가진 간선들로부터 최종 해를 구성하기 위해 스택 기반 그리디 전개 단계를 활용하여 정확성과 근사 경계를 보장한다.
• 감소 후에 균형 잡힌 색 클래스 크기를 확보하기 위해 하잔-슈메레디 정리(Hajnal-Szemerédi theorem)를 활용하여 (1+o(1))Δ-색칠 알고리즘을 이끌어낸다.

실험 결과

연구 질문

• RQ1 일반적으로 순차적인 그리디 알고리즘과 국소 비율 알고리즘을 MapReduce 모델에서 근사 품질을 손상시키지 않고 효과적으로 병렬화할 수 있는가?
• RQ2 무작위 샘플링을 통해 국소 비율 업데이트를 시뮬레이션할 수 있는가? 이 경우 매 라운드마다 미샘플링된 요소의 일정 비율이 제거됨을 보장할 수 있는가?
• RQ3 목적 함수 순서나 우선순위 함수가 자연스럽지 않은 문제들, 예를 들어 최대 클리크나 그래프 색칠 문제에 대해 그리디 접근 방식을 어떻게 적응시킬 수 있는가?
• RQ4 표준 감소 기법(예: 그래프의 여집합 구하기)이 비가능한 경우, MapReduce에서 각 기계당 부분선형 메모리 제약을 어떻게 극복할 수 있는가?
• RQ5 가중치 있는 집합 커버, 정점 커버, b-매칭 문제에 대해 일정 수의 MapReduce 라운드 내에서 달성 가능한 근사 비율은 무엇인가?

주요 결과

• 무작위 국소 비율 알고리즘은 고확률로 O(1) 라운드 내에서 최소 가중치 정점 커버 및 최대 가중치 매칭 문제에 대해 2-근사 비율을 달성한다.
• 동일한 기법은 최대 빈도 f가 임의의 요소에 대해 주어질 때, 최소 가중치 집합 커버 문제에 대해 f-근사 비율을 달성한다.
• b ≥ 2인 최대 가중치 b-매칭 문제에 대해, μ > 0이면 O(c/μ) 라운드, μ = 0이면 O(log n) 라운드 내에서 (3 − 2/b + 2ε)-근사 비율을 달성한다.
• 배고픈 그리디 기법은 샘플링을 통해 문제 크기를 급격히 축소함으로써, O(1) 라운드 내에서 가중치 있는 집합 커버 문제에 대해 (1 + ε)ln Δ-근사 비율을 달성한다.
• 이 논문은 정점 색칠 및 간선 색칠 모두에 대해 (1 + o(1))Δ-색칠 알고리즘을 제시하여 일정 수의 라운드 내에서 근사 최적의 경계를 달성한다.
• 분석 결과, O(1) 라운드 이후에 최대 차수 Δ이 고확률로 매 라운드마다 n^μ/4의 비율로 감소함을 보여주며, 이는 빠른 수렴을 가능하게 한다.