[논문 리뷰] Warp-Level Parallelism: Enabling Multiple Replications In Parallel on GPU

Jonathan Passerat‐Palmbach, Jonathan Caux외 3명|arXiv (Cornell University)|2015. 01. 07.

Parallel Computing and Optimization Techniques참고 문헌 2인용 수 4

한 줄 요약

이 논문은 CUDA 기반의 워프 수준 병렬 처리(Warp-Level Parallelism, WLP)를 제안한다. WLP는 각 확률적 시뮬레이션 반복을 별개의 GPU 워프에 할당하여 분지 분열(branch divergence)을 방지하고 GPU 점유율을 극대화한다. 워프 수준의 독립성을 활용함으로써 WLP는 기존의 SIMT 실행 방식 대비 최대 6배의 성능 향상을 달성하며, 확률적 시뮬레이션의 다중 반복을 병렬로 빠르게 처리할 수 있다.

ABSTRACT

Stochastic simulations need multiple replications in order to build confidence intervals for their results. Even if we do not need a large amount of replications, it is a good practice to speed-up the whole simulation time using the Multiple Replications In Parallel (MRIP) approach. This approach usually supposes to have access to a parallel computer such as a symmetric mul-tiprocessing machine (with many cores), a computing cluster or a computing grid. In this paper, we propose Warp-Level Parallelism (WLP), a GP-GPU-enabled solution to compute MRIP on GP-GPUs (General-Purpose Graphics Processing Units). These devices display a great amount of parallel computational power at low cost, but are tuned to process efficiently the same operation on several data, through different threads. Indeed, this paradigm is called Single Instruction, Multiple Threads (SIMT). Our approach proposes to rely on small threads groups, called warps, to perform independent computations such as replications. We have benchmarked WLP with three different models: it allows MRIP to be computed up to six times faster than with the SIMT computing paradigm.

연구 동기 및 목표

• CPU에서 다중 반복 실행이 느리기 때문에 발생하는 성능 저하 문제를 해결하기 위해.
• 특히 분기 분열이 발생하는 다양한 실행 경로로 인해 기존의 SIMT 실행 방식이 GPU에서 성능에 한계를 보이는 문제를 극복하기 위해.
• GPU 워프를 별개의 계산 단위로 활용하여 다중 독립 반복을 효율적이고 고처리량으로 실행할 수 있도록 하기 위해.
• WLP가 확률적 시뮬레이션에서 CPU 기반 및 SIMT 기반 GPU 구현 방식보다 뚜렷이 뛰어난 성능을 보임을 입증하기 위해.
• GPU 가속 시뮬레이션 워크로드에 MRIP를 통합하기 위한 최소한의 오버헤드와 고수준 추상화를 제공하기 위해.

제안 방법

• 각 시뮬레이션 반복을 별개의 GPU 워프에 매핑하여 워프 내부에서의 분기 분열을 방지하고 독립 실행을 보장한다.
• 실행 시간에 계산된 워프 식별자를 사용하여 각 워프가 어떤 반복을 수행할지 결정한다.
• 저수준 스레드 관리를 추상화하고 코드 이식성을 향상시키기 위해 고수준 CUDA 매크로를 통해 WLP를 구현한다.
• 모든 워프가 서로 다른 난수 스트림에서 동일한 알고리즘을 독립적으로 실행할 수 있도록 시뮬레이션 커널을 설계한다.
• 각 워프당 최적화된 데이터 접근 패턴을 통해 중복 읽기 및 왤기 작업을 줄여 전역 메모리 접근을 최소화한다.
• Fermi GPU 아키텍처의 향상된 캐시 및 메모리 계층을 활용하여 코드 수정 없이 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 분기 분열 문제로 인한 성능 저하 없이 GPU 워프를 사용해 독립적인 시뮬레이션 반복를 효과적으로 실행할 수 있는가?
• RQ2 확률적 시뮬레이션의 다중 반복에서 기존의 SIMT 기반 실행 방식과 비교해 WLP의 성능은 어떠한가?
• RQ3 SIMT 방식 대비 WLP가 전역 메모리 접근 오버헤드를 얼마나 줄이는가?
• RQ4 합리적인 반복 수(≥30)에서 WLP가 CPU 및 SIMT GPU 실행 방식보다 뚜렷한 성능 향상을 달성할 수 있는가?
• RQ5 모델 복잡도와 GPU 장치의 메모리 소비 증가에 따라 WLP는 어떻게 스케일링되는가?

주요 결과

• WLP는 동일한 GPU 하드웨어에서 기존의 SIMT 실행 방식 대비 다중 반복 확률적 시뮬레이션에서 최대 6배의 성능 향상을 달성한다.
• WLP에서는 전역 메모리 접근 시간 대비 계산 시간 비율이 SIMT 대비 2.5배 낮아, 더 뛰어난 메모리 효율성을 보인다.
• 랜덤 워크 모델에서 WLP는 전역 메모리 읽기 횟수를 225에서 18로, 왤기 횟수를 302에서 104로 줄여 메모리 대역폭 압력을 크게 감소시킨다.
• 30개 이상의 반복을 계산할 경우 WLP는 최신 CPU보다 최소 두 배 이상 빠른 성능을 보이며, 신뢰구간을 확보하기 위한 중심극한정리의 조건을 충족한다.
• 독립적인 워프 스케줄링을 통해 GPU의 활용도 저하 문제를 효과적으로 완화하고 점유율을 높인다.
• 향후 CUDA 아키텍처에서 메모리 서브시스템이 향상될 경우 성능 향상도 더욱 커질 것으로 예상된다.