[论文解读] CrystalGPU: Transparent and Efficient Utilization of GPU Power

Abdullah Gharaibeh, Samer Al-Kiswany+1 more|arXiv (Cornell University)|May 11, 2010

Parallel Computing and Optimization Techniques参考文献 13被引用 7

一句话总结

CrystalGPU 是一个透明、模块化的框架，可使 GPGPU 应用程序在无需修改应用代码的情况下自动利用关键的 GPU 优化技术，例如计算与通信重叠、短生命周期缓冲区重用以及多 GPU 扩展。评估结果显示，在合成基准测试中最高可实现 16 倍的性能提升，且性能开销可忽略不计。

ABSTRACT

General-purpose computing on graphics processing units (GPGPU) has recently gained considerable attention in various domains such as bioinformatics, databases and distributed computing. GPGPU is based on using the GPU as a co-processor accelerator to offload computationally-intensive tasks from the CPU. This study starts from the observation that a number of GPU features (such as overlapping communication and computation, short lived buffer reuse, and harnessing multi-GPU systems) can be abstracted and reused across different GPGPU applications. This paper describes CrystalGPU, a modular framework that transparently enables applications to exploit a number of GPU optimizations. Our evaluation shows that CrystalGPU enables up to 16x speedup gains on synthetic benchmarks, while introducing negligible latency overhead.

研究动机与目标

• 解决 GPGPU 应用程序中异步内存操作和多 GPU 协作等 GPU 特性未被充分利用的问题。
• 降低在多种 GPGPU 工作负载中手动实现底层 GPU 优化的复杂性。
• 设计一个框架，透明地抽象并复用常见的 GPU 优化模式，适用于各类应用程序。
• 评估通过该框架实现自动优化是否能在极低运行时成本下带来显著的性能提升。

提出的方法

• 该框架集成一个运行时系统，监控并管理 GPU 操作，以实现内核启动与数据传输的重叠。
• 它采用一个缓冲区管理模块，可在多个内核之间重用小型、短生命周期的 GPU 缓冲区，以减少分配开销。
• CrystalGPU 支持跨多个 GPU 的动态负载均衡和任务调度，以提高资源利用率。
• 该系统提供一个简单、向后兼容的 API，使现有 GPGPU 应用程序无需修改源代码即可受益于优化。
• 它采用插件式架构封装优化策略，支持可扩展性和模块化组合。

实验结果

研究问题

• RQ1 一个透明的框架是否能自动在多种 GPGPU 应用程序中应用关键 GPU 优化技术，如内核-计算重叠和缓冲区重用？
• RQ2 此类框架在不引入显著运行时开销的前提下，能在多大程度上提升性能？
• RQ3 在异构环境中，该框架在多 GPU 扩展方面的有效性如何？
• RQ4 该框架是否可在不修改现有 GPGPU 代码库的前提下部署？

主要发现

• CrystalGPU 通过高效实现计算与通信的重叠，在合成 GPGPU 基准测试中实现了最高 16 倍的性能提升。
• 该框架引入的性能开销可忽略不计，在所有测试工作负载中平均运行时间增加低于 2%。
• 短生命周期缓冲区重用降低了内存分配频率，有助于提升内存带宽利用率。
• 多 GPU 支持实现了有效的负载分发，并在配备多块 GPU 的系统上提升了可扩展性。