[논문 리뷰] Investigating Warp Size Impact in GPUs

Ahmad Lashgar, Amirali Baniasadi외 1명|arXiv (Cornell University)|2012. 05. 22.

Parallel Computing and Optimization Techniques참고 문헌 14인용 수 3

한 줄 요약

이 논문은 소형 워프와 메모리 코ales싱을 향상시킨 설계(SW+)와 대형 워프와 MIMD 유사 제어 흐름 메커니즘을 통해 분기 분리 문제를 완화한 설계(LW+)를 비교함으로써 GPU 성능에 미치는 워프 크기의 영향을 조사한다. 저자들은 메모리 코ales싱을 향상시킨 소형 워프 GPU가 제어 흐름 최적화된 대형 워프 GPU보다 성능이 뛰어나며, 소형 워프에 더 나은 메모리 액세스를 제공하는 것이 더 효과적인 설계 전략임을 발견한다.

ABSTRACT

There are a number of design decisions that impact a GPU's performance. Among such decisions deciding the right warp size can deeply influence the rest of the design. Small warps reduce the performance penalty associated with branch divergence at the expense of a reduction in memory coalescing. Large warps enhance memory coalescing significantly but also increase branch divergence. This leaves designers with two choices: use a small warps and invest in finding new solutions to enhance coalescing or use large warps and address branch divergence employing effective control-flow solutions. In this work our goal is to investigate the answer to this question. We analyze warp size impact on memory coalescing and branch divergence. We use our findings to study two machines: a GPU using small warps but equipped with excellent memory coalescing (SW+) and a GPU using large warps but employing an MIMD engine immune from control-flow costs (LW+). Our evaluations show that building coalescing-enhanced small warp GPUs is a better approach compared to pursuing a control-flow enhanced large warp GPU.

연구 동기 및 목표

• GPU 아키텍처에서 워프 크기, 메모리 코ales싱, 분기 분리 간의 상호 상충 관계를 분석하기 위해.
• 소형 워프에 대한 메모리 코ales싱 향상과 대형 워프에 대한 고급 제어 흐름 처리 방식을 사용할 경우의 성능 영향을 평가하기 위해.
• 대형 워프에 대한 제어 흐름 최적화를 하는 것보다 소형 워프에 대한 메모리 코ales싱 개선에 투자하는 것이 더 유익한지 판단하기 위해.
• 가상의 두 GPU 설계, 즉 SW+(소형 워프, 코ales싱 최적화)와 LW+(대형 워프, MIMD 기반 제어 흐름)를 비교하기 위해.

제안 방법

• 저자들은 분석 모델링과 시뮬레이션을 사용하여 워프 크기가 메모리 코ales싱과 분기 분리에 미치는 영향을 분석한다.
• 그들은 소형 워프에 메모리 코ales싱을 향상시킨 설계(SW+)와 대형 워프에 MIMD 스타일 실행을 통해 제어 흐름 비용을 줄이는 설계(LW+)를 설계하고 평가한다.
• 평가에는 기술 보고서와 대표적인 워크로드를 대상으로 한 시뮬레이션 기반 성능 비교를 사용한다.
• 연구는 다양한 워프 크기에서 분기 분리와 메모리 코ales싱 효율성의 성능 영향을 정량화하는 데 집중한다.
• 저자들은 이론적 분석과 성능 모델링을 조합하여 두 GPU 설계 간의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 워프 크기가 GPU 아키텍처에서 메모리 코ales싱 효율성에 어떤 영향을 미치는가?
• RQ2 대형 워프와 소형 워프에서 분기 분리의 성능 영향은 어떠한가?
• RQ3 메모리 코ales싱을 향상시킨 소형 워프 방식과 제어 흐름 처리를 개선한 대형 워프 방식 중 어느 것이 더 나은 종합 GPU 성능을 낳는가?
• RQ4 우수한 메모리 코ales싱을 갖춘 소형 워프 GPU가 고급 제어 흐름 메커니즘을 갖춘 대형 워프 GPU를 능가할 수 있는가?

주요 결과

• 메모리 코ales싱을 향상시킨 소형 워프를 쓰는 SW+ 설계가 대형 워프와 MIMD 기반 제어 흐름 처리를 갖춘 LW+ 설계보다 성능이 뛰어나다.
• 소형 워프 설계에서는 분기 분리에 따른 손실이 줄어들어, 효과적인 메모리 코ales싱과 조합될 경우 성능 향상에 기여한다.
• 소형 워프에서 메모리 코ales싱을 향상시킬 경우의 성능 향상은 대형 워프에서 제어 흐름 오버헤드를 줄일 경우의 이점보다 더 크다.
• 연구는 소형 워프에 대한 메모리 코ales싱 최적화에 투자하는 것이 대형 워프에 대한 제어 흐름 개선에 투자하는 것보다 더 효과적인 설계 전략임을 결론 내린다.