[논문 리뷰] Brief Announcement: Semi-MapReduce Meets Congested Clique.

Soheil Behnezhad, Mahsa Derakhshan외 1명|arXiv (Cornell University)|2018. 02. 28.

Advanced Graph Neural Networks인용 수 12

한 줄 요약

이 논문은 반-맵레듀스(반-MPC)가 계산 능력에서 농도 클리크 모델과 거의 동일하며, 분산 알고리즘의 효율적인 시뮬레이션을 가능하게 한다는 것을 보여준다. 반-MPC는 다른 모델(예: CONGEST)과 유사한 라운드 복잡도를 유지하면서 머신 수를 최적화하여, 시뮬레이션을 통한 개선된 알고리즘을 도출할 수 있다.

ABSTRACT

Graph problems are troublesome when it comes to MapReduce. Typically, to be able to design algorithms that make use of the advantages of MapReduce, assumptions beyond what the model imposes, such as the {\em density} of the input graph, are required. In a recent shift, a simple and robust model of MapReduce for graph problems, where the space per machine is set to be $O(|V|)$ has attracted considerable attention. We term this model {\em semi-MapReduce}, or in short, semi-MPC, and focus on its computational power. In this short note, we show through a set of simulation methods that semi-MPC is, perhaps surprisingly, almost equivalent to the congested clique model of distributed computing. However, semi-MPC, in addition to round complexity, incorporates another practically important dimension to optimize: the number of machines. Furthermore, we show that algorithms in other distributed computing models, such as CONGEST, can be simulated to run in the same number of rounds of semiMPC while also using an optimal number of machines. We later show the implications of these simulation methods by obtaining improved algorithms for these models using the recent algorithms that have been developed.

연구 동기 및 목표

• 그래프 문제에 대한 반-맵레듀스(반-MPC)의 계산 능력을 조사하기 위해.
• 반-MPC와 농도 클리크 모델 간의 공식적인 연결을 수립하기 위해.
• CONGEST와 같은 다른 모델의 알고리즘이 반-MPC에서 최적의 머신 사용으로 효율적으로 시뮬레이션될 수 있음을 보여주기 위해.
• 농도 클리크 모델에서의 최근 발전을 활용하여 반-MPC에서의 성능을 향상시키기 위해.

제안 방법

• 저자들은 반-MPC 프레임워크 내에서 농도 클리크 알고리즘을 모방하기 위해 시뮬레이션 기법을 사용한다.
• 반-MPC에서 라운드 복잡도와 머신 수를 이원적인 최적화 차원으로 분석한다.
• 반-MPC가 CONGEST 모델 알고리즘을 동일한 라운드 수로 시뮬레이션할 수 있음을 입증한다.
• 반-MPC가 계산 표현력 면에서 농도 클리크 모델과 거의 동일하다는 것을 증명한다.
• 농도 클리크에서 알려진 효율적인 알고리즘을 적용하여 반-MPC에서 향상된 결과를 도출한다.
• 시뮬레이션 과정이 라운드 효율성과 머신 최적성 모두를 유지함을 통해 접근 방식을 검증한다.

실험 결과

연구 질문

• RQ1 반-맵레듀스의 계산 능력은 농도 클리크 모델과 어떻게 비교되는가?
• RQ2 CONGEST 모델의 알고리즘은 반-MPC에서 동일한 라운드 복잡도로 효율적으로 시뮬레이션될 수 있는가?
• RQ3 반-MPC는 다른 분산 모델의 알고리즘 효율성을 어느 정도 유지하는가?
• RQ4 시뮬레이션 프레임워크를 통해 농도 클리크의 발전을 활용하여 반-MPC에서 알고리즘 성능을 향상시킬 수 있는가?
• RQ5 반-MPC에서 라운드 복잡도와 머신 수 간의 상호 교환 관계는 무엇이며, 이를 최적화할 수 있는가?

주요 결과

• 반-맵레듀스는 계산 능력 면에서 농도 클리크 모델과 거의 동일하다.
• CONGEST 모델의 알고리즘은 반-MPC에서 동일한 라운드 복잡도로 시뮬레이션될 수 있다.
• 시뮬레이션 프레임워크는 라운드 효율성 외에도 최적의 머신 사용을 가능하게 한다.
• 농도 클리크 모델의 최근 발전을 활용하여 그래프 문제에 대한 개선된 알고리즘을 도출할 수 있다.
• 이 접근은 반-MPC와 다른 분산 컴퓨팅 모델 간에 강력한 다리를 쌓는다.
• 결과적으로 반-MPC는 효율적인 라운드 복잡도와 최소한의 머신 수를 모두 지원하므로 실용적으로 효과적이다.