[논문 리뷰] UVMBench: A Comprehensive Benchmark Suite for Researching Unified Virtual Memory in GPUs

Yongbin Gu, Wenxuan Wu외 2명|arXiv (Cornell University)|2020. 07. 20.

Parallel Computing and Optimization Techniques참고 문헌 19인용 수 8

한 줄 요약

이 논문은 다양한 메모리 액세스 패턴을 갖춘 32개의 다양한 GPU 응용 프로그램으로 구성된 통합 가상 메모리(UVM) 성능을 평가하기 위한 종합적인 벤치마크 세트인 UVMBench를 소개한다. 이 세트를 통해 UVM 오버헤드의 체계적 분석이 가능해지며, 페이지 스래시닝과 비효율적인 내보내기 정책으로 인한 메모리 과도 사용 시 심각한 성능 저하가 드러나, UVM 인식 최적화 기법의 필요성을 강조한다.

ABSTRACT

The recent introduction of Unified Virtual Memory (UVM) in GPUs offers a new programming model that allows GPUs and CPUs to share the same virtual memory space, which shifts the complex memory management from programmers to GPU driver/ hardware and enables kernel execution even when memory is oversubscribed. Meanwhile, UVM may also incur considerable performance overhead due to tracking and data migration along with special handling of page faults and page table walk. As UVM is attracting significant attention from the research community to develop innovative solutions to these problems, in this paper, we propose a comprehensive UVM benchmark suite named UVMBench to facilitate future research on this important topic. The proposed UVMBench consists of 32 representative benchmarks from a wide range of application domains. The suite also features unified programming implementation and diverse memory access patterns across benchmarks, thus allowing thorough evaluation and comparison with current state-of-the-art. A set of experiments have been conducted on real GPUs to verify and analyze the benchmark suite behaviors under various scenarios.

연구 동기 및 목표

• GPU에서 통합 가상 메모리(UVM)를 평가하기 위한 표준화되고 대표적인 벤치마크의 부족을 해결하기 위해.
• 다양한 응용 분야와 메모리 액세스 패턴에서 UVM 최적화 기법의 철저하고 비교 가능한 평가를 가능하게 하기 위해.
• 특히 메모리 과도 사용 상황에서 현재 UVM 시스템의 성능 저하 요인을 특정하기 위해.
• 일관된 구현을 갖춘 통합되고 실용적인 벤치마크 세트를 제공함으로써 향후 연구를 이끌기 위해.
• PCIe 대역폭 활용도에 영향을 주는 하드웨어 프리패칭 기능과 메모리 액세스 패턴의 영향을 분석하기 위해.

제안 방법

• 저자들은 기계 학습, 선형 대수, 그래프 알고리즘, 물리 시뮬레이션 등 다양한 분야에서 32개의 대표적인 GPU 커널을 선정하였다.
• 모든 벤치마크는 일관된 평가와 비교를 보장하기 위해 통합된 프로그래밍 인터페이스로 구현되었다.
• 다양한 커널 설정과 스레드 블록에서 스트리밍, 랜덤, 재사용 집약적인 메모리 액세스 패턴이 포함되어 있다.
• 실제 GPU에서 실험하여 효과적인 PCIe 대역폭, 메모리 액세스 지연, 메모리 과도 사용 조건 하에서의 성능을 측정하였다.
• 메모리 과도 사용은 cudaMalloc를 사용하여 가용 GPU 메모리를 필요 메모리의 110%와 125%로 줄여 모의하였다.
• 페이지 장애 빈도, 데이터 이동량, 하드웨어 프리패칭이 UVM 성능에 미치는 역할을 분석하였다.

실험 결과

연구 질문

• RQ1 다양한 메모리 액세스 패턴은 UVM 성능과 PCIe 대역폭 활용도에 어떻게 영향을 미치는가?
• RQ2 메모리 과도 사용은 UVM 커널 실행 성능에 어떤 영향을 미치는가?
• RQ3 왜 일부 벤치마크는 UVM에서 심각한 성능 저하를 경험하는 반면, 다른 일부는 경미한 속도 저하만 겪는가?
• RQ4 현재 하드웨어 프리패칭 기능은 UVM 성능 오버헤드를 얼마나 효과적으로 완화하는가?
• RQ5 기존의 내보내기 정책이 UVM에서 페이지 스래시닝에 얼마나 기여하는가?

주요 결과

• 메모리 과도 사용 조건에서 스트리밍 액세스 패턴에서 특히 두드러지게, 페이지 내보내기 중 커널 스탠스로 인해 많은 벤치마크가 2-3배의 속도 저하를 경험한다.
• 일부 벤치마크는 짧은 데이터 재사용 거리로 인해 심각한 페이지 스래시닝으로 100배 이상의 성능 저하를 겪는다.
• UVM에서의 효과적 PCIe 대역폭은 벤치마크 간에 크게 달라지며, 일부는 높은 활용도를 보이고 다른 일부는 작은 데이터 이동 크기로 인해 활용도가 낮다.
• 현대 GPU의 하드웨어 프리패칭은 PCIe 대역폭을 완전히 활용하지 못함을 시사하며, UVM 인식 프리패칭 기법의 필요성을 보여준다.
• 현재의 LRU 내보내기 정책은 재사용 집약적인 워크로드에서 빈번하고 불필요한 페이지 이동으로 인해 성능이 열악하다.
• 표준화된 벤치마크의 부족은 UVM 최적화 기법 간의 공정한 비교를 방해했으며, UVMBench와 같은 통합 평가 세트의 필요성을 강조한다.