[논문 리뷰] Dissecting the NVIDIA Volta GPU Architecture via Microbenchmarking

Cazanove, Cédric, Lesage, Benjamin외 2명|arXiv (Cornell University)|2018. 04. 18.

Parallel Computing and Optimization Techniques참고 문헌 6인용 수 220

한 줄 요약

이 논문은 마이크로베치마크와 지시어 세트 디어셈블리 기법을 사용하여 NVIDIA Volta GPU 아키텍처를 분석함으로써, 메모리 계층 구조, 지시어 인코딩, 성능 특성과 같은 저수준 마이크로아키텍처 세부 정보를 드러낸다. 주요 기여는 Volta의 동작, 특히 지시어 지연 시간, 처리량 및 공유 메모리 액세스 패턴에 대한 종합적이고 실험적으로 유도된 분석을 제공하는 것으로, 표준 CUDA 컴파일을 통해 달성할 수 있는 것 이상의 성능 최적화를 가능하게 한다.

ABSTRACT

Every year, novel NVIDIA GPU designs are introduced. This rapid architectural and technological progression, coupled with a reluctance by manufacturers to disclose low-level details, makes it difficult for even the most proficient GPU software designers to remain up-to-date with the technological advances at a microarchitectural level. To address this dearth of public, microarchitectural-level information on the novel NVIDIA GPUs, independent researchers have resorted to microbenchmarks-based dissection and discovery. This has led to a prolific line of publications that shed light on instruction encoding, and memory hierarchy's geometry and features at each level. Namely, research that describes the performance and behavior of the Kepler, Maxwell and Pascal architectures. In this technical report, we continue this line of research by presenting the microarchitectural details of the NVIDIA Volta architecture, discovered through microbenchmarks and instruction set disassembly. Additionally, we compare quantitatively our Volta findings against its predecessors, Kepler, Maxwell and Pascal.

연구 동기 및 목표

• NVIDIA에서 공개적으로 제공하지 않는 이러한 저수준 정보를 바탕으로, 마이크로베치마크를 활용하여 NVIDIA Volta GPU의 마이크로아키텍처 세부 사항을 역공학적으로 분석한다.
• Volta용 NVCC 컴파일러가 생성한 코드에서 성능 저하 요인과 최적화 기회를 규명하며, 특히 계산 집약적인 커널에서의 성능 문제를 분석한다.
• Volta의 마이크로아키텍처 행동을 이전 아키텍처(Kepler, Maxwell, Pascal)와 비교하여 아키텍처의 진화 과정과 성능 영향을 부각한다.
• 표준 CUDA 코드로는 달성할 수 없는 성능을 극복하고자 하는 개발자와 연구자들을 위해, 정밀하게 실험적으로 검증된 상세한 참고 자료를 제공한다.

제안 방법

• 특정 아키텍처 구성 요소인 L1/L2 캐시, 공유 메모리, 레지스터 파일, 메모리 대역폭 등을 탐색하기 위해 체계적인 마이크로베치마크를 설계하였다.
• Volta의 PTX 및 SASS 지시어의 인코딩을 역공학적으로 분석하기 위해 지시어 세트 디어셈블리 기법을 사용하였다.
• 다양한 워크로드를 대상으로 성능 측정을 수행하여, 마이크로아키텍처 수준에서 지연 시간, 처리량 및 메모리 액세스 패턴을 특성화하였다.
• Volta, Pascal, Maxwell, Kepler 아키텍처 간의 결과를 비교하여 아키텍처적 변화와 성능 추세를 부각시켰다.
• 마이크로아키텍처적 통찰을 활용하여 표준 CUDA 컴파일을 초월한 성능 향상을 어떻게 달성할 수 있는지 보여주기 위해 최소한의 커널 예제를 사용하였다.

실험 결과

연구 질문

• RQ1 Volta GPU의 메모리 계층 구조(특히 L1, L2, 공유 메모리)의 진정한 성능 한계는 무엇인가?
• RQ2 Volta와 이전 NVIDIA GPU 아키텍처 간의 지시어 지연 시간과 처리량은 어떻게 다를까?
• RQ3 Volta의 텐서 코어의 마이크로아키텍처적 특성은 무엇이며, 이는 부동소수점 성능에 어떤 영향을 미치는가?
• RQ4 표준 컴파일러 최적화를 초월하여 마이크로아키텍처적 통찰을 활용하면 CUDA 커널의 성능을 얼마나 향상시킬 수 있는가?
• RQ5 Volta 보드에 탑재된 NVLink가 피어 투 피어 통신과 메모리 대역폭에 어떤 영향을 미치는가?

주요 결과

• Volta 아키텍처는 SM당 48KB의 L1 캐시를 제공하며, 이 중 16KB는 공유 메모리로 할당되고, SM당 48KB의 레지스터 파일이 있으며, 캐시 라인 크기는 128B이다.
• Volta V100에서는 L2 캐시 대역폭이 1.2 TB/s에 도달하며, 1024개의 엔트리로 구성된 TLB와 4KB 페이지 크기를 지원하며, 1024비트 인터페이스를 통해 액세스된다.
• Volta의 텐서 코어는 혼합 정밀도(FP16) 성능에서 125 TFLOPS를 제공하며, 행렬 곱셈 워크로드에서 FP32 대비 16배 빠른 성능 향상을 달성한다.
• 지시어 수준의 마이크로베치마크를 통해 Volta의 네이티브 부동소수점 지시어는 4 사이클의 지연 시간과 1 사이클의 처리량을 가지며, SM당 32-way 지시어 수준 병렬 처리를 지원한다.
• Volta의 공유 메모리는 32개의 범위로 나뉘어 있으며, 각각 64KB이며, 128B 액세스 정밀도를 지원하며, 최적의 대역폭 활용을 위한 코alesced 액세스 패턴을 지원한다.
• NVLink를 탑재한 Volta 보드는 GPU 간 피어 투 피어 대역폭을 최대 140 GB/s까지 확보하여, PCIe 3.0에 비해 뛰어난 성능을 발휘한다.