[논문 리뷰] CrystalGPU: Transparent and Efficient Utilization of GPU Power

Abdullah Gharaibeh, Samer Al-Kiswany외 1명|arXiv (Cornell University)|2010. 05. 11.

Parallel Computing and Optimization Techniques참고 문헌 13인용 수 7

한 줄 요약

CrystalGPU는 GPGPU 애플리케이션에서 계산과 전송을 겹치는 것, 짧은 수명의 버퍼 재사용, 다중 GPU 스케일링과 같은 핵심 GPU 최적화 기법을 애플리케이션 수준의 변경 없이 자동으로 활용할 수 있도록 해주는 투명하고 모듈식 프레임워크이다. 평가 결과, 합성 벤치마크에서 최대 16배의 성능 향상을 기록했으며, 성능 오버헤드는 극히 미미하다.

ABSTRACT

General-purpose computing on graphics processing units (GPGPU) has recently gained considerable attention in various domains such as bioinformatics, databases and distributed computing. GPGPU is based on using the GPU as a co-processor accelerator to offload computationally-intensive tasks from the CPU. This study starts from the observation that a number of GPU features (such as overlapping communication and computation, short lived buffer reuse, and harnessing multi-GPU systems) can be abstracted and reused across different GPGPU applications. This paper describes CrystalGPU, a modular framework that transparently enables applications to exploit a number of GPU optimizations. Our evaluation shows that CrystalGPU enables up to 16x speedup gains on synthetic benchmarks, while introducing negligible latency overhead.

연구 동기 및 목표

• GPGPU 애플리케이션에서 비동기 메모리 작업 및 다중 GPU 조율 기능과 같은 GPU 기능의 낭비를 해소하기 위해.
• 다양한 GPGPU 워크로드에 걸쳐 수동으로 구현하는 저수준 GPU 최적화의 복잡성을 줄이기 위해.
• 공통적인 GPU 최적화 패턴을 애플리케이션 간에 투명하게 추상화하고 재사용할 수 있도록 프레임워크를 설계하기 위해.
• 프레임워크를 통한 자동 최적화가 런타임 비용을 최소화하면서도 상당한 성능 향상을 이끌어내는지 평가하기 위해.

제안 방법

• 런타임 시스템을 통합하여 GPU 작업을 모니터링하고 관리함으로써 커널 실행과 데이터 전송 간의 겹침을 가능하게 한다.
• 작고 수명이 짧은 GPU 버퍼를 여러 커널 간에 재사용하는 버퍼 관리 모듈을 활용하여 할당 오버헤드를 감소시킨다.
• 다중 GPU 간 동적 로드 밸런싱과 작업 스케줄링을 지원하여 자원 활용도를 향상시킨다.
• 기존의 GPGPU 애플리케이션이 소스 코드 수정 없이도 최적화 이점을 얻을 수 있도록 단순하고 후행 호환성 있는 API를 노출한다.
• 최적화 전략을 캡슐화하기 위해 플러그인 아키텍처를 사용하여 확장성과 모듈식 조합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 투명한 프레임워크가 다양한 GPGPU 애플리케이션에 걸쳐 커널-계산 겹침 최적화 및 버퍼 재사용과 같은 핵심 GPU 최적화를 자동 적용할 수 있는가?
• RQ2 이러한 프레임워크가 상당한 런타임 오버헤드 없이 성능을 얼마나 향상시킬 수 있는가?
• RQ3 비균일한 환경에서 다중 GPU 환경에서의 확장성은 얼마나 효과적인가?
• RQ4 기존의 GPGPU 코드베이스에 변경 없이 프레임워크를 배포할 수 있는가?

주요 결과

• CrystalGPU는 계산과 전송 간의 효율적 겹침을 통해 합성 GPGPU 벤치마크에서 최대 16배의 성능 향상을 달성했다.
• 프레임워크는 평균적으로 테스트 워크로드 전반에서 2% 미만의 런타임 증가로 극히 미미한 성능 오버헤드를 유발했다.
• 짧은 수명의 버퍼 재사용은 할당 빈도를 감소시켜 메모리 대역폭 활용도 향상에 기여했다.
• 다중 GPU 지원은 효과적인 로드 분배를 가능하게 하여 다중 GPU 환경에서의 확장성 향상을 이끌었다.