[논문 리뷰] Super-fast MST Algorithms in the Congested Clique using $o(m)$ Messages

Sriram V. Pemmaraju, Vivek B. Sardeshmukh|arXiv (Cornell University)|2016. 10. 12.

Complexity and Algorithms in Graphs참고 문헌 7인용 수 4

한 줄 요약

이 논문은 하위 제곱 메시지 복잡도를 갖는 콘게스티드 클리크 모델에서 초고속 최소 스패닝 트리(MST) 알고리즘을 처음으로 제안한다. 이 알고리즘은 $O(\text{poly}(\log^* n))$ 라운드와 $\tilde{O}(\text{poly}(n))$ 메시지를 달성하며, 구성 요소별 엣지 샘플링과 $\tilde{O}(n)$-메시지 선형 그래프 스케치를 활용하여 통신을 줄이면서도 거의 최적의 라운드 복잡도를 유지한다.

ABSTRACT

In a sequence of recent results (PODC 2015 and PODC 2016), the running time of the fastest algorithm for the \emph{minimum spanning tree (MST)} problem in the \emph{Congested Clique} model was first improved to $O(\log \log \log n)$ from $O(\log \log n)$ (Hegeman et al., PODC 2015) and then to $O(\log^* n)$ (Ghaffari and Parter, PODC 2016). All of these algorithms use $Θ(n^2)$ messages independent of the number of edges in the input graph. This paper positively answers a question raised in Hegeman et al., and presents the first "super-fast" MST algorithm with $o(m)$ message complexity for input graphs with $m$ edges. Specifically, we present an algorithm running in $O(\log^* n)$ rounds, with message complexity $ ilde{O}(\sqrt{m \cdot n})$ and then build on this algorithm to derive a family of algorithms, containing for any $\varepsilon$, $0 < \varepsilon \le 1$, an algorithm running in $O(\log^* n/\varepsilon)$ rounds, using $ ilde{O}(n^{1 + \varepsilon}/\varepsilon)$ messages. Setting $\varepsilon = \log\log n/\log n$ leads to the first sub-logarithmic round Congested Clique MST algorithm that uses only $ ilde{O}(n)$ messages. Our primary tools in achieving these results are (i) a component-wise bound on the number of candidates for MST edges, extending the sampling lemma of Karger, Klein, and Tarjan (Karger, Klein, and Tarjan, JACM 1995) and (ii) $Θ(\log n)$-wise-independent linear graph sketches (Cormode and Firmani, Dist.~Par.~Databases, 2014) for generating MST candidate edges.

연구 동기 및 목표

• 콘게스티드 클리크 모델에서 초고속 MST 알고리즘이 하위 제곱 메시지 복잡도를 달성할 수 있는지 여부에 대한 열린 질문을 해결하기 위해.
• 메시지 수를 $\Theta(n^2)$ 이하로 줄이면서도 $O(\log^* n)$ 라운드 복잡도를 유지하는 MST 알고리즘을 설계하기 위해.
• 콘게스티드 클리크 모델에서 저메시지 복잡도가 초고속 분산 계산과 호환될 수 있음을 보여주기 위해.
• $\varepsilon$에 따라 조정 가능한 알고리즘 가족을 제공하기 위해, 이는 라운드 복잡도와 메시지 수 사이의 트레이드오프를 가능하게 한다.

제안 방법

• Karger, Klein, 그리고 Tarjan의 샘플링 보조정리를 확장하여 각 연결 구성 요소당 후보 MST 엣지 수를 제한한다.
• 효율적인 후보 MST 엣지 생성을 위해 $\Theta(\log n)$-독립적인 선형 그래프 스케치를 사용한다.
• 메시지 수가 적은 라우팅 체계(RSG)를 활용하여 $\tilde{O}(\sqrt{m})$ 개의 노드 간 키와 메시지를 재분배한다.
• 재분배와 Lenzen의 $O(1)$-라운드 정렬을 통해 키 정렬 문제를 크기 $\tilde{O}(\sqrt{k})$ 의 더 작은 클리크로 환원한다.
• 키 수 $k = O(n^{2-\varepsilon})$ 에 대해 $O(k)$ 메시지를 사용하는 분산 정렬 서브루틴을 적용하여 엣지 가중치의 효율적 글로벌 순위 매기기를 가능하게 한다.
• 스케칭과 라우팅 기반 원리를 조합하여, 라운드 수와 메시지 수 사이의 조절 가능한 트레이드오프를 제공하는 알고리즘 가족을 구축한다.

실험 결과

연구 질문

• RQ1 콘게스티드 클리크 모델에서 초고속 MST 알고리즘이 $o(m)$ 메시지 복잡도를 달성할 수 있는가?
• RQ2 메시지 수를 $\Theta(n^2)$ 이하로 줄이면서도 $O(\log^* n)$ 라운드 복잡도를 유지할 수 있는가?
• RQ3 구성 요소별 샘플링과 선형 스케칭을 사용하여 낮은 통신 비용으로 MST 후보를 생성할 수 있는가?
• RQ4 저메시지 MST 알고리즘에서 라운드 복잡도와 메시지 복잡도 사이의 트레이드오프는 무엇인가?
• RQ5 오직 $\tilde{O}(n)$ 메시지만을 사용하여 하향 로그 라운드 MST 알고리즘을 구축할 수 있는가?

주요 결과

• 논문은 $\tilde{O}(\sqrt{m \cdot n})$ 메시지 복잡도를 가지며 $O(\log^* n)$ 라운드를 달성하는 MST 알고리즘을 제시한다. 이는 초선형 그래프($m = \omega(n \cdot \text{poly}(\log n))$)에 대해 $o(m)$이다.
• 모든 $\varepsilon \in (0,1]$ 에 대해 $O(\log^* n / \varepsilon)$ 라운드와 $\tilde{O}(n^{1+\varepsilon}/\varepsilon)$ 메시지를 사용하는 알고리즘 가족을 구성하였다.
• $\varepsilon = \log \log n / \log n$ 로 설정하면, 오직 $\tilde{O}(n)$ 메시지만을 사용하는 하향 로그 라운드 알고리즘이 도출된다.
• 메시지 수 $\tilde{O}(m)$ 을 사용하면서도 $O(\log^* n)$ 라운드를 달성하여 이전의 $\Theta(n^2)$ 메시지 복잡도보다 향상되었다.
• 분산 정렬 서브루틴은 $k = O(n^{2-\varepsilon})$ 키에 대해 메시지 복잡도를 $O(k)$ 로 줄여 엣지 가중치의 효율적 글로벌 순위 매기기를 가능하게 한다.
• 논문 결과는 Hegeman 등이 제기한 열린 질문을 해결하며, 초고속 MST 알고리즘이 $\tilde{O}(n)$ 메시지로 존재할 수 있음을 보여준다.