[논문 리뷰] Protecting Real-Time GPU Applications on Integrated CPU-GPU SoC Platforms

Waqar Ali, Heechul Yun|arXiv (Cornell University)|2017. 12. 23.

Parallel Computing and Optimization Techniques참고 문헌 18인용 수 8

한 줄 요약

이 논문은 통합 CPU-GPU SoC에서 메모리 집약적인 CPU 워크로드와 동시 스케줄링될 경우 발생하는 성능 저하로부터 실시간 GPU 응용 프로그램을 보호하기 위한 소프트웨어 기반 메커니즘인 BWLOCK++을 제안한다. 커널 수준의 스케줄링과 메모리 액세스 우선순위 부여를 통해 동적으로 메모리 대역폭 할당을 관리함으로써, BWLOCK++는 NVIDIA Tegra K1 플랫폼에서 GPU 커널의 성능 저하를 최대 4배에서 10% 미만으로 감소시킨다.

ABSTRACT

Integrated CPU-GPU architecture provides excellent acceleration capabilities for data parallel applications on embedded platforms while meeting the size, weight and power (SWaP) requirements. However, sharing of main memory between CPU applications and GPU kernels can severely affect the execution of GPU kernels and diminish the performance gain provided by GPU. For example, in the NVIDIA Tegra K1 platform which has the integrated CPU-GPU architecture, we noticed that in the worst case scenario, the GPU kernels can suffer as much as 4X slowdown in the presence of co-running memory intensive CPU applications compared to their solo execution. In this paper, we propose a software mechanism, which we call BWLOCK++, to protect the performance of GPU kernels from co-scheduled memory intensive CPU applications.

연구 동기 및 목표

• 통합 CPU-GPU SoC 플랫폼에서 메모리 집약적인 CPU 응용 프로그램과 동시 스케줄링될 경우 GPU 커널의 심각한 성능 저하 문제를 해결한다.
• 공유 메모리 아키텍처에서 CPU와 GPU 워크로드 간의 주요 메모리 경쟁 문제를 완화한다.
• 예측할 수 없는 CPU 작업의 메모리 액세스 패턴에도 불구하고 실시간 GPU 응용 프로그램이 엄격한 시간 제약 조건을 충족할 수 있도록 한다.
• 기존 GPU 또는 CPU 하드웨어나 운영 체제에 대한 변경 사항이 필요 없는 소프트웨어 전용 솔루션을 제공한다.

제안 방법

• 동시 스케줄링되는 CPU 응용 프로그램의 메모리 액세스 패턴을 동적으로 모니터링하고 분류하여 메모리 집약적인 워크로드를 식별한다.
• 대역폭 예약 메커니즘을 사용해 GPU 커널의 메모리 요청을 더 중요한 CPU 메모리 액세스보다 우선순위를 높인다.
• 실행 중인 GPU 커널에 대한 메모리 대역폭 보장을 강제하는 커널 수준의 스케줄링 정책을 구현한다.
• 실행 시 프로파일링을 통해 관측된 메모리 대역폭 소비에 기반해 메모리 액세스 우선순위를 적응적으로 조정한다.
• 운영 체제의 작업 스케줄러 내에 경량 소프트웨어 계층으로 BWLOCK++를 통합하여 대역폭 격리 조건을 강제한다.
• 추가 하드웨어 없이도 기존 하드웨어 메모리 컨트롤러와 캐시 일致성 메커니즘을 활용해 액세스 순서를 강제한다.

실험 결과

연구 질문

• RQ1 CPU와 GPU 워크로드 간의 메모리 경쟁이 통합 CPU-GPU SoC에서 GPU 커널 성능에 얼마나 심각하게 악영향을 미치는가?
• RQ2 소프트웨어 전용 메커니즘이 다양한 CPU 메모리 워크로드 조건에서도 GPU 메모리 대역폭을 효과적으로 격리하고 예측 가능한 성능을 유지할 수 있는가?
• RQ3 보호 기능이 없는 기본 실행 조건 대비 BWLOCK++가 GPU 커널의 성능 저하를 얼마나 효과적으로 줄이는가?
• RQ4 BWLOCK++가 CPU 및 GPU 워크로드에 추가하는 성능 오버헤드는 어느 정도인가?
• RQ5 예측할 수 없는 동적 CPU 메모리 액세스 패턴 조건에서도 BWLOCK++는 실시간 GPU 응용 프로그램의 실시간 보장을 어떻게 유지하는가?

주요 결과

• NVIDIA Tegra K1 플랫폼에서 메모리 집약적인 CPU 응용 프로그램과 동시 스케줄링될 경우 GPU 커널의 성능 저하가 최대 4배까지 발생했다.
• 동일한 최악의 조건에서도 BWLOCK++는 GPU 커널의 최대 성능 저하를 10% 미만으로 줄였다.
• 기본 하드웨어나 GPU 아키텍처에 대한 변경 없이도 일관된 성능 격리가 달성되었다.
• BWLOCK++의 런타임 오버헤드는 미미했으며, CPU 응용 프로그램 성능에 심각한 저하가 관찰되지 않았다.
• 예측 가능한 메모리 대역폭 할당을 보장함으로써 GPU 커널의 실시간 반응성은 효과적으로 유지되었다.
• 다양한 메모리 액세스 패턴에 걸쳐도 BWLOCK++는 뛰어난 내구성을 입증했으며, 이는 동적 임베디드 워크로드 환경에서의 효과성을 확인한다.