[논문 리뷰] Communication Lower Bounds for Distributed-Memory Computations

Michele Scquizzato, Francesco Silvestri|arXiv (Cornell University)|2013. 07. 06.

Stochastic Gradient Optimization Techniques참고 문헌 30인용 수 8

한 줄 요약

이 논문은 이전 연구보다 더 약한 가정을 기반으로 하여 기본적인 분산 메모리 계산—행렬 곱셈, 스텐실 계산, 정렬, FFT—에 대한 새로운 통신 하한을 설정한다. 균형 잡힌 작업 분배, 고정된 입력 분포, 국한된 로컬 메모리 등의 제약 조건을 완화함으로써, 현실적인 조건에서 병렬 알고리즘의 본질적 통신 비용을 더 날카롭게 드러내는 더 날카운 가정 기반 하한을 도출한다.

ABSTRACT

We give lower bounds on the communication complexity required to solve several computational problems in a distributed-memory parallel machine, namely standard matrix multiplication, stencil computations, comparison sorting, and the Fast Fourier Transform. We revisit the assumptions under which preceding results were derived and provide new lower bounds which use much weaker and appropriate hypotheses. Our bounds rely on a mild assumption on work distribution, and strengthen previous results which require either the computation to be balanced among the processors, or specific initial distributions of the input data, or an upper bound on the size of processors' local memories.

연구 동기 및 목표

• 균형 잡힌 작업 분배나 외부 입력 메모리와 같은 제한적인 가정에 의존하는 이전의 통신 하한의 한계를 해결하기 위해.
• 더 약한, 더 현실적인 가정을 사용하여 실제 분산 메모리 시스템에 더 널리 적용 가능한 하한을 도출하기 위해.
• 입력 데이터의 복제나 재계산이 병렬 알고리즘의 통신 복잡도에 상당한 영향을 미치는지 명확히 하기 위해.
• BSP, LogP, MapReduce와 같은 모델에서 통신 효율적인 알고리즘 설계의 이론적 기초를 강화하기 위해.

제안 방법

• 분산 메모리 시스템을 p개의 프로세서, 무한한 개인 메모리, 메시지 전달 통신 방식을 갖는 블록 동기 병렬(BSP) 모델 내에서 문제를 체계화한다.
• 완벽한 로드 밸런싱을 요구하지 않고, 각 프로세서가 O(W/p)의 연산을 수행한다는 약간의 가정을 도입한다.
• 입력/출력 노드 분포와 DAG(Directed Acyclic Graph) 내 메시지 전달에 기반한 새로운 추론 기법을 사용하여, 입력 복제나 외부 메모리 가정 없이 하한을 유도한다.
• Bilardi 등 [9]의 기법을 응용하여 출력 노드 분포와 재계산 금지 조건을 바탕으로 통신 복잡도를 한정한다.
• FFT DAG에서 모순과 순환 이동 추론을 통해, 재계산을 금지할 경우 최소 W/(8 log W)개의 메시지가 필요하다는 것을 증명한다.
• 최악의 출력 분포를 고려하고 프로세서 역할을 뒤바꿔 최종 하한을 유도함으로써 일반적인 경우로 결과를 확장한다: Ω(n log n / (p log(n/p)) ).

실험 결과

연구 질문

• RQ1 프로세서 간 작업 분배가 균형 잡혀 있지 않더라도 통신 하한을 도출할 수 있는가?
• RQ2 입력 데이터가 균일하게 분포하지 않거나 외부 메모리에 저장되어 있지 않은 경우 기존 하한이 여전히 유효한가?
• RQ3 중간 결과의 제한적 재계산을 允허함으로써 통신 복잡도를 얼마나 줄일 수 있는가?
• RQ4 분산 메모리 모델에서 날카운 통신 하한을 유도하기 위해 재계산 금지 가정이 필수적인가?
• RQ5 MapReduce나 LogP와 같은 모델에 동일한 하한 기법을 유사한 수정 없이 일반화할 수 있는가?

주요 결과

• 논문은 p개의 프로세서에서 FFT 계산에 대해 Ω(n log n / (p log(n/p)))의 통신 하한을 설정한다. 이는 약간의 가정 하에 유효하다.
• 입력 데이터가 초기 복제되지 않거나 작업 분배가 완벽하지 않더라도 이 하한이 유지되어, 이전 결과보다 더 넓은 적용 범위를 가진다.
• W = O(n^ε log n) 인 경우에 하한이 날카롭고, 이는 하위 문제 크기 Θ(W / log W)에서 재귀를 멈추는 재귀 알고리즘이 이를 충족함을 보여준다.
• 재계산이 금지된 한, 비균형적 계산만으로는 통신 비용을 크게 줄일 수 없다는 것이 분석을 통해 드러났다.
• BSP와 유사한 모델, 예를 들어 LogP나 MapReduce에서도 결과가 유효하므로 광범위한 적용 가능성을 시사한다.
• 입력 복제나 외부 메모리 가정이 의미 있는 하한을 도출하는 데 필수적이지 않다는 것이 드러나, 이전의 모델링 선택에 도전한다.