[논문 리뷰] Efficient Synchronization Primitives for GPUs

Jeff A. Stuart, John D. Owens|arXiv (Cornell University)|2011. 10. 20.

Parallel Computing and Optimization Techniques참고 문헌 11인용 수 45

한 줄 요약

이 논문은 원자 연산을 최소화하여 일반 메모리 접근보다 훨씬 느린 원자 연산을 줄임으로써 GPU 전용으로 최적화된 고성능 동기화 원자(바rier, mutex, 세마포어)를 제시한다. 저자들은 Tesla 및 페르미 GPU에서 벤치마크를 수행하고 GPU 메모리 시스템 추상화를 도입하여 실현 가능하고 이식 가능한 라이브러리를 개발하였으며, 특히 경쟁이 높은 상황에서 스핀락 기반 기준 대비 최대 70배의 성능 향상을 달성하였다.

ABSTRACT

In this paper, we revisit the design of synchronization primitives---specifically barriers, mutexes, and semaphores---and how they apply to the GPU. Previous implementations are insufficient due to the discrepancies in hardware and programming model of the GPU and CPU. We create new implementations in CUDA and analyze the performance of spinning on the GPU, as well as a method of sleeping on the GPU, by running a set of memory-system benchmarks on two of the most common GPUs in use, the Tesla- and Fermi-class GPUs from NVIDIA. From our results we define higher-level principles that are valid for generic many-core processors, the most important of which is to limit the number of atomic accesses required for a synchronization operation because atomic accesses are slower than regular memory accesses. We use the results of the benchmarks to critique existing synchronization algorithms and guide our new implementations, and then define an abstraction of GPUs to classify any GPU based on the behavior of the memory system. We use this abstraction to create suitable implementations of the primitives specifically targeting the GPU, and analyze the performance of these algorithms on Tesla and Fermi. We then predict performance on future GPUs based on characteristics of the abstraction. We also examine the roles of spin waiting and sleep waiting in each primitive and how their performance varies based on the machine abstraction, then give a set of guidelines for when each strategy is useful based on the characteristics of the GPU and expected contention.

연구 동기 및 목표

• GPU가 제어 중심의 복잡한 워크로드에 점점 더 널리 사용됨에 따라, 고성능이며 GPU에 최적화된 동기화 원자 부족 문제를 해결하기 위해.
• CPU 기반 동기화 패tern이 GPU 아키텍처에 적용되었을 때의 제약을 규명하고 이를 극복하기 위해.
• 동기화 원자 구현에 효율적인 지침을 제공하기 위해 GPU 메모리 시스템의 성능 모델을 수립하기 위해.
• GPU 아키텍처에 따라 최적의 구현 방식을 자동으로 선택할 수 있는 이식 가능하고 고수준의 동기화 원자 라이브러리 개발하기 위해.
• GPU 특성과 경쟁 수준에 따라 스핀 대기 전략과 슬립 대기 전략을 언제 사용할 것인지에 대한 지침 제공하기 위해.

제안 방법

• 메모리 시스템 동작 특성, 특히 원자 연산과 비 volatile 메모리 접근 속도 비율을 기준으로 GPU를 분류할 수 있는 머신 추상화 설계하기.
• Tesla 및 페르미 GPU에서 메모리 시스템 테스트 세트를 구현하고 벤치마크하여 성능 저하 요인을 규명하고 원자 구현 설계에 기여하기.
• 지연 시간을 줄이기 위해 가능한 한 많은 원자 연산을 비원자 연산으로 대체함으로써 동기화 원자를 최적화하기.
• 여러 하위 구현 방식을 지원하는 고수준 C++ 라이브러리 추상화 설계하기. 이는 CPU 스타일의 의미 체계(예: lock(), unlock())를 유지한다.
• 고경쟁 워크로드에서의 경쟁 오버헤드를 줄이기 위해 mutex에서 백오프 전략과 세마포어에서 슬립 대기 메커니즘 도입하기.
• 특정 경쟁 수준과 원자 연산 속도 향상에 따라 추상화에서 외삽하여 향후 GPU 성능을 예측하기.

실험 결과

연구 질문

• RQ1 GPU에서 원자 연산과 비 volatile 메모리 접근의 성능 특성은 CPU와 어떻게 다를까? 이는 동기화 원자 설계에 어떤 영향을 미치는가?
• RQ2 GPU 동기화에서 스핀 대기와 슬립 대기 전략 사이의 최적 균형은 무엇이며, 이는 GPU 아키텍처와 경쟁 수준에 따라 어떻게 달라지는가?
• RQ3 현대 GPU에서 정확성과 성능을 유지하면서 원자 연산의 수를 최소화할 수 있는 동기화 원자를 설계할 수 있는가?
• RQ4 특정 GPU의 메모리 시스템 성질에 기반해 최적의 구현 방식을 자동으로 선택할 수 있는 이식 가능하고 고수준의 동기화 라이브러리를 어떻게 구축할 수 있는가?
• RQ5 원자 연산이 비 volatile 로드 속도에 가까워질 경우, 향후 GPU에서 기대할 수 있는 성능 향상은 어떠한가?

주요 결과

• 테슬라 GPU에서 FA mutex는 스핀락 대비 거의 40배 빠르며, 백오프 전략과 원자 연산 사용 감소의 효과를 입증한다.
• 페르미 GPU에서 스핀락에 백오프를 추가하면 성능이 거의 40% 향상되며, 이는 경쟁 인식 설계의 중요성을 보여준다.
• 스피닝 세마포어는 테슬라에서 3배 이상, 페르미에서 70배 이상 빠르며, 고경쟁 상황에서 슬립 대기 전략의 유용성을 입증한다.
• 원자 연산과 비 volatile 접근 간 성능 격차는 핵심 요소이다. 페르미에서는 이 비율이 약 10:1로, 스핀 기반 원자에 심각한 영향을 미친다.
• 저자들은 원자 연산이 비 volatile 접근 속도에 가까워질수록 백오프 메커니즘이 고성능 달성의 주요 요소가 될 것으로 예측한다.
• 전역 바리어 지원(예: __syncblocks())이 하드웨어에서 제공된다면 FFT 및 비트로닉 정렬과 같은 알고리즘의 성능 향상이 가능하며, 이는 라이브러리에 원활하게 통합될 수 있다.