[논문 리뷰] Dissecting GPU Memory Hierarchy through Microbenchmarking

Xinxin Mei, Xiaowen Chu|arXiv (Cornell University)|2015. 09. 08.

Parallel Computing and Optimization Techniques참고 문헌 24인용 수 5

한 줄 요약

이 논문은 NVIDIA Fermi, Kepler, 그리고 Maxwell GPU의 메모리 계층 구조를 역설계하기 위해 세밀한 포인터 추적 마이크로벤치마크를 도입한다. 이는 기존에 알려지지 않은 캐시 동작 방식—예를 들어 전통적이지 않은 L1 데이터 캐시 교체 정책과 텍스처 캐시에서의 2차원 공간 국소성—을 드러내며, Maxwell 아키텍처가 벤치마크에서 공유 메모리의 지연 시간을 크게 줄여 퍼포먼스와 효율성 면에서 Fermi와 Kepler를 능가함을 입증한다.

ABSTRACT

Memory access efficiency is a key factor in fully utilizing the computational power of graphics processing units (GPUs). However, many details of the GPU memory hierarchy are not released by GPU vendors. In this paper, we propose a novel fine-grained microbenchmarking approach and apply it to three generations of NVIDIA GPUs, namely Fermi, Kepler and Maxwell, to expose the previously unknown characteristics of their memory hierarchies. Specifically, we investigate the structures of different GPU cache systems, such as the data cache, the texture cache and the translation look-aside buffer (TLB). We also investigate the throughput and access latency of GPU global memory and shared memory. Our microbenchmark results offer a better understanding of the mysterious GPU memory hierarchy, which will facilitate the software optimization and modelling of GPU architectures. To the best of our knowledge, this is the first study to reveal the cache properties of Kepler and Maxwell GPUs, and the superiority of Maxwell in shared memory performance under bank conflict.

연구 동기 및 목표

• 현대 NVIDIA GPU의 비문서화된 메모리 계층을 역설계함으로써, 특히 캐시 구조와 메모리 접근 특성에 중점을 둔다.
• GPU의 계산 성능과 메모리 대역폭 간 격차로 인한 성능 저하 문제를 해결함으로써 응용 프로그램의 효율성을 향상시키고자 한다.
• 다양한 세대 간 GPU 메모리 대역폭, 지연 시간, 캐시 동작을 측정하는 재현 가능한 세밀한 방법론을 제공하고자 한다.
• Fermi, Kepler, 그리고 Maxwell GPU의 아키텍처 진화를 비교함으로써, 성능 최적화에서 에너지 효율성으로의 전환을 조명하고자 한다.
• 숨겨진 하드웨어 동작 방식을 폭 드러내어 소프트웨어 최적화 및 GPU 응용 프로그램 모델링에 실질적인 통찰을 제공하고자 한다.

제안 방법

• GPU 전용 메모리 계층에 맞춰 설계된 새로운 세밀한 포인터 추적(P-chase) 마이크로벤치마크를 설계하고 구현하여 캐시 동작을 탐색한다.
• P-chase 기법을 활용해 액세스 패턴과 지연 시간 변동을 분석함으로써 캐시의 연관성, 라인 크기, 교체 정책 등의 매개변수를 식별한다.
• 스트라이드 및 뱅크 충돌 시나리오를 포함한 다양한 액세스 패턴 하에서 글로벌 메모리와 공유 메모리의 대역폭과 지연 시간을 측정한다.
• 뱅크 충돌이 공유 메모리 성능에 미치는 영향을 분리하기 위해 메모리 액세스 패턴(예: 스트라이드 크기, 데이터 정렬)을 체계적으로 변화시킨다.
• Fermi, Kepler, Maxwell의 세 세대 NVIDIA GPU에 걸쳐 마이크로벤치마크를 적용하여 상호 아키텍처 비교를 가능하게 한다.
• 반복 실험을 통해 결과를 검증하고 재현 가능성을 확보하기 위해 공개된 소스 코드와 데이터를 제공한다.

실험 결과

연구 질문

• RQ1 현대 NVIDIA GPU의 기초 캐시 구조(예: L1 데이터 캐시, 텍스처 캐시, TLB)는 무엇이며, CPU 캐시 모델과 어떻게 다를까?
• RQ2 공유 메모리 뱅크 충돌이 액세스 지연 시간에 미치는 영향은 무엇이며, 어떤 아키텍처 최적화가 이를 완화하는가?
• RQ3 Fermi, Kepler, 그리고 Maxwell GPU에서 글로벌 메모리와 공유 메모리의 실제 대역폭과 지연 시간 특성은 어떠한가?
• RQ4 Fermi에서 Maxwell로의 GPU 메모리 계층 구조 진화는 대역폭, 용량, 효율성 측면에서 어떻게 변화했는가?
• RQ5 Maxwell 아키텍처는 Fermi와 Kepler에 비해 공유 메모리 뱅크 충돌로 인한 성능 저하를 얼마나 줄였는가?

주요 결과

• GPU의 L1 데이터 캐시는 전통적인 CPU 캐시 동작 방식과 다른 비표준 교체 정책을 사용한다.
• 텍스처 L1 캐시는 2차원 공간 국소성을 최적화한 집합 연관 매핑 방식을 사용하여 2차원 데이터 패턴에서의 액세스 효율성을 향상시킨다.
• GPU의 L2 TLB는 크기가 다른 세트로 구성되어 있어, 다양한 메모리 영역 간 비균일한 메모리 액세스 행동을 나타낸다.
• 공유 메모리 액세스 지연 시간은 뱅크 충돌 가능성이 증가함에 따라 거의 선형적으로 증가하며, Fermi에서 32-way 뱅크 충돌 시 최대 1209 사이클의 지연 시간이 발생한다.
• Kepler의 8바이트 모드는 공유 메모리 뱅크 폭을 두 배로 늘려 뱅크 충돌 확률을 감소시켜 Fermi의 4바이트 모드 대비 성능을 향상시킨다.
• Maxwell의 공유 메모리는 매우 최적화되어 있어, 32-way 뱅크 충돌 조건에서도 지연 시간이 L1 데이터 캐시 수준(30 사이클)을 유지한다. 이는 Fermi(90 사이클)와 Kepler(42 사이클)에 비해 뛰어난 충돌 완화 성능을 보임을 시사한다.