[논문 리뷰] CPU and/or GPU: Revisiting the GPU Vs. CPU Myth

Kishore Kothapalli, Dip Sankar Banerjee외 14명|arXiv (Cornell University)|2013. 03. 09.

Parallel Computing and Optimization Techniques참고 문헌 35인용 수 9

한 줄 요약

이 논문은 13개의 다양한 워크로드를 대상으로 CPU와 GPU를 동시에 활용하는 하이브리드 컴퓨팅 모델을 제안함으로써 CPU 대 GPU의 이원론을 도전한다. 두 가지 하이브리드 플랫폼—Intel i7-980X + Tesla T10 및 Intel E7400 + GT520—을 사용한 결과, 하이브리드 솔루션은 평균 90%의 자원 효율성을 달성하며 독립적인 CPU 또는 GPU 구현보다 뛰어난 성능을 보였으며, 이는 현대의 이종 시스템에서 공처리가 성능과 효율성을 극대화함을 보여준다.

ABSTRACT

Parallel computing using accelerators has gained widespread research attention in the past few years. In particular, using GPUs for general purpose computing has brought forth several success stories with respect to time taken, cost, power, and other metrics. However, accelerator based computing has signifi- cantly relegated the role of CPUs in computation. As CPUs evolve and also offer matching computational resources, it is important to also include CPUs in the computation. We call this the hybrid computing model. Indeed, most computer systems of the present age offer a degree of heterogeneity and therefore such a model is quite natural. We reevaluate the claim of a recent paper by Lee et al.(ISCA 2010). We argue that the right question arising out of Lee et al. (ISCA 2010) should be how to use a CPU+GPU platform efficiently, instead of whether one should use a CPU or a GPU exclusively. To this end, we experiment with a set of 13 diverse workloads ranging from databases, image processing, sparse matrix kernels, and graphs. We experiment with two different hybrid platforms: one consisting of a 6-core Intel i7-980X CPU and an NVidia Tesla T10 GPU, and another consisting of an Intel E7400 dual core CPU with an NVidia GT520 GPU. On both these platforms, we show that hybrid solutions offer good advantage over CPU or GPU alone solutions. On both these platforms, we also show that our solutions are 90% resource efficient on average. Our work therefore suggests that hybrid computing can offer tremendous advantages at not only research-scale platforms but also the more realistic scale systems with significant performance gains and resource efficiency to the large scale user community.

연구 동기 및 목표

• GPU 컴퓨팅만이 뛰어난 성능을 제공한다는 일반적인 인식을 도전하며, 대신 CPU+GPU의 통합 활용을 주장한다.
• 다양한 워크로드를 가진 실제적인, 소비자 수준의 플랫폼에서 하이브리드 컴퓨팅의 실현 가능성과 이점을 평가한다.
• 가속기 중심 모델에서 흔히 발생하는 자원의 무용지물 상태를 방지하기 위해 CPU와 GPU를 동시에 활성화하여 활용하는 것을 목표로 한다.
• 이종 아키텍처에서 효율적인 하이브리드 실행을 가능하게 하는 알고리즘 설계 패턴—작업 공유 및 작업 분할—을 탐색한다.
• 하이브리드 솔루션이 CPU 전용 및 GPU 전용 접근 방식보다 성능과 자원 효율성 측면에서 뛰어나다는 경험적 증거를 제공한다.

제안 방법

• 데이터베이스, 이미지 처리, 희소 행렬 커널, 그래프 알고리즘 등 다양한 분야를 아우르는 13개의 다양한 워크로드를 선정하여 하이브리드 컴퓨팅의 유효성을 시험했다.
• 고성능(6코어 i7 + Tesla T10)과 저성능(이중코어 E7400 + GT520) 구성의 두 플랫폼에서 하이브리드 솔루션을 구현했다.
• 두 가지 알고리즘 전략을 활용: 작업 공유(문제를 CPU와 GPU 간에 분해) 및 작업 분할(알고리즘의 서로 다른 부분을 다른 장치에 할당).
• 성능 및 자원 효율성을 평가하기 위해 하이브리드 솔루션을 독립적인 CPU 및 GPU 구현과 비교했다.
• 실행 시간, 스피드업, 자원 활용도 등의 성능 메트릭을 사용하여 효율성과 확장성을 평가했다.
• 메모리 액세스 패턴, SIMD 병렬성 등 워크로드 특성을 분석하여 CPU와 GPU 간 최적의 작업 매핑을 안내했다.

실험 결과

연구 질문

• RQ1 다양한 워크로드 전반에서 하이브리드 CPU+GPU 컴퓨팅이 독립적인 CPU 또는 GPU 솔루션보다 뛰어난 성능을 낼 수 있는가?
• RQ2 하나의 가속기 중심이 아닌 CPU와 GPU를 병렬로 사용할 경우 성능 및 효율성 향상 정도는 어떠한가?
• RQ3 소비자 수준의 플랫폼에서 하이브리드 컴퓨팅의 실현 가능성과 성능에 영향을 미치는 CPU와 GPU 조합의 선택은 어떻게 되는가?
• RQ4 작업 공유, 작업 분할 등과 같은 알고리즘 전략은 CPU와 GPU 자원을 효율적이고 균형 있게 활용하는 데 어떻게 기여하는가?
• RQ5 실제 이종 아키텍처를 가진 시스템에서 하이브리드 컴퓨팅이 높은 자원 효율성(예: 90% 활용도)을 달성할 수 있는 정도는 어느 정도인가?

주요 결과

• 모든 13개의 워크로드와 두 플랫폼에서 하이브리드 솔루션은 CPU 전용 및 GPU 전용 구현보다 끈적임으로써 성능이 뛰어났다.
• 평균적으로 하이브리드 솔루션은 90%의 자원 효율성을 달성하여 가용 계산 자원을 거의 최적 수준으로 활용하고 있음을 시사했다.
• 고성능 플랫폼(i7-980X + Tesla T10)과 저성능 플랫폼(E7400 + GT520) 모두 하이브리드 실행을 통해 뚜렷한 성능 향상을 보였다.
• 불규칙한 메모리 액세스 패턴이나 낮은 SIMD 병렬성으로 인해 전통적으로 GPU에 적합하지 않다고 여겨졌던 워크로드도 CPU의 참여로 상당한 이점을 얻었다.
• 이 연구는 하이브리드 컴퓨팅이 고성능 시스템에 국한되지 않고, 저비용의 소비자 수준 플랫폼에서도 실현 가능하고 효과적이라는 것을 확인했다.
• 결과적으로 CPU 대 GPU 사고방식에서 벗어나 CPU와 GPU를 함께 사용하는 패러다임으로의 전환을 뒷받침하며, 공처리가 더 높은 성능과 효율성을 해방시킨다.