[논문 리뷰] A Many-core Machine Model for Designing Algorithms with Minimum Parallelism Overheads

Sardar Anisul Haque, Marc Moreno Maza외 1명|arXiv (Cornell University)|2014. 02. 03.

Parallel Computing and Optimization Techniques참고 문헌 5인용 수 8

한 줄 요약

이 논문은 GPU 프로그램에서 병렬 처리 오버헤드를 최소화하기 위해 포크-조인과 SIMD 병렬 처리를 통합한 다핵 기반 머신 모델(MMM)을 제안한다. 병렬 처리 오버헤드 측정 기준을 도입하고, 작업(work), 스팬(span), 오버헤드를 포함한 그레고리-브렌트 정리의 확장함으로써 정확한 런타임 추정과 파라미터 최적화를 가능하게 하였으며, 네 가지 과학 계산 알고리즘에 대한 실험 결과를 통해 이론적 예측을 확인하였다.

ABSTRACT

We present a model of multithreaded computation, combining fork-join and single-instruction-multiple-data parallelisms, with an emphasis on estimating parallelism overheads of programs written for modern many-core architectures. We establish a Graham-Brent theorem for this model so as to estimate execution time of programs running on a given number of streaming multiprocessors. We evaluate the benefits of our model with four fundamental algorithms from scientific computing. In each case, our model is used to minimize parallelism overheads by determining an appropriate value range for a given program parameter; moreover experimentation confirms the model's prediction.

연구 동기 및 목표

• 현대의 다핵 아키텍처인 GPU와 같은 환경에서 작업 기반(fork-join) 및 데이터 기반(SIMD) 병렬 처리를 모두 반영하는 계산 모델을 설계하기.
• GPU 프로그램에서 발생하는 통신 및 동기화로 인한 병렬 처리 오버헤드를 정량화하고 최소화하기.
• 작업(work), 스팬(span), 그리고 새로운 병렬 처리 오버헤드 측정 기준을 포함한 고전적 그레고리-브렌트 정리를 확장하여 P개의 스트리밍 멀티프로세서에서의 정확한 런타임 예측을 가능하게 하기.
• 작업량을 유지하면서 오버헤드를 최소화하는 최적의 파라미터 범위를 식별함으로써 알고리즘 설계를 이끌기.
• 네 가지 기본 과학 계산 알고리즘에 대한 실증적 평가를 통해 모델의 예측 능력을 검증하기.

제안 방법

• 이질적인 GPU 프로그램에서 작업 수준과 데이터 수준의 병렬 처리를 모두 표현하기 위해 이중 수준의 DAG 모델을 제안한다.
• 산술 작업과는 독립적인 동기화 및 통신 비용을 정량화하기 위해 새로운 복잡도 측정 기준인 병렬 처리 오버헤드를 도입한다.
• 실행 시간을 $ T_P \leq \frac{W}{P} + S + O $ 로 제한하는 수정된 그레고리-브렌트 정리를 유도한다. 여기서 $ W $ 는 작업량, $ S $ 는 스팬, $ O $ 는 병렬 처리 오버헤드이다.
• 확장된 정리의 추론 1을 사용하여 단순한 알고리즘 인스턴스와 최적화된 알고리즘 인스턴스 간의 런타임 추정치를 비교한다.
• 작업량의 변동을 최소화하면서 $ O_{\text{naive}} / O_{\text{optimized}} $ 의 비율을 최대화함으로써 프로그램 파라미터(예: 스레드 블록 크기, 데이터 전송 정밀도)를 최적화한다.
• 이론적 분석과 CUDA 기반 실험을 통해 다항식 GCD, 다항식 곱셈, 래디스 정렬, 유클리드 알고리즘 네 가지 알고리즘에 모델을 적용한다.

실험 결과

연구 질문

• RQ1 어떻게 계산 모델이 실제로 GPU 실행 동작을 모델링하기 위해 포크-조인과 SIMD 병렬 처리를 효과적으로 통합할 수 있는가?
• RQ2 통신 및 동기화 오버헤드가 GPU 알고리즘 성능에 미치는 영향은 무엇이며, 이를 어떻게 정량화할 수 있는가?
• RQ3 병렬 처리 오버헤드를 포함한 수정된 그레고리-브렌트 정리가 GPU 프로그램의 런타임 예측 정확도를 향상시킬 수 있는가?
• RQ4 GPU 최적화 알고리즘에서 병렬 처리 오버헤드를 최소화하는 데 최적의 파라미터 범위는 무엇인가?
• RQ5 이론적 예측이 실제 GPU 코드의 실측 런타임과 얼마나 일치하는가?

주요 결과

• 다항식 GCD 알고리즘의 경우, 모델은 파라미터 $ s = 256 $ 으로 설정할 경우 최적의 성능을 낼 것으로 예측하였으며, 이는 실험적으로 확인되었다.
• 최적화된 유클리드 알고리즘의 런타임 추정 비율 $ R $ 는 $ Z > 9.6 $ 일 경우 1을 초과하였고, 실질적으로 $ Z $ 는 항상 이 조건을 충족하므로 최적화된 버전은 항상 더 빠르게 동작하였다.
• 다항식 곱셈의 경우, 모델은 파라미터 $ s $ 를 최소화해야 하며, 실험 결과 $ s = 4 $ 가 2에서 32 사이의 값들 중에서 최적이었음을 확인하였다.
• 유클리드 알고리즘에 대한 모델의 런타임 추정치는 시스톨릭 VLSI 어레이 모델의 결과와 매우 유사하여 모델의 예측 정확도를 검증하였다.
• 최적화된 유클리드 알고리즘의 CUDA 구현은 다항식 차수까지 10,000까지 선형 시간 복잡도를 보였으며, 이는 모델의 실용적 유용성을 확인하는 데 기여하였다.
• 래디스 정렬의 경우, 모델이 예측한 최적 파라미터 범위가 이전 연구에서의 실증적 결과와 일치하여 알고리즘 간 일관성을 입증하였다.