[논문 리뷰] Exploring Modern GPU Memory System Design Challenges through Accurate Modeling

Mahmoud Khairy, Akshay Jain외 2명|arXiv (Cornell University)|2018. 10. 16.

Parallel Computing and Optimization Techniques참고 문헌 29인용 수 25

한 줄 요약

이 논문은 NVIDIA Volta GPU를 위한 매우 세밀한 메모리 시스템 모델을 갖춘 GPGPU-Sim GPU 시뮬레이터의 크게 향상된 버전을 제안하며, 실제 하드웨어 대비 최대 66× 낮은 메모리 카운터 오차와 2.5× 감소한 실행 사이클 오차를 달성한다. 향상된 모델은 순서가 바뀐 메모리 스케줄링, 적응형 L1 캐시, 섹터 기반 캐시 구성과 같은 고급 기능을 반영하여, 이전 시뮬레이터들이 L1 캐시 경쟁을 과도하게 평가하고 메모리 스케줄링의 복잡한 이점을 과소평가하고 있음을 드러낸다.

ABSTRACT

This paper explores the impact of simulator accuracy on architecture design decisions in the general-purpose graphics processing unit (GPGPU) space. We perform a detailed, quantitative analysis of the most popular publicly available GPU simulator, GPGPU-Sim, against our enhanced version of the simulator, updated to model the memory system of modern GPUs in more detail. Our enhanced GPU model is able to describe the NVIDIA Volta architecture in sufficient detail to reduce error in memory system even counters by as much as 66X. The reduced error in the memory system further reduces execution time error versus real hardware by 2.5X. To demonstrate the accuracy of our enhanced model against a real machine, we perform a counter-by-counter validation against an NVIDIA TITAN V Volta GPU, demonstrating the relative accuracy of the new simulator versus the publicly available model. We go on to demonstrate that the simpler model discounts the importance of advanced memory system designs such as out-of-order memory access scheduling, while overstating the impact of more heavily researched areas like L1 cache bypassing. Our results demonstrate that it is important for the academic community to enhance the level of detail in architecture simulators as system complexity continues to grow. As part of this detailed correlation and modeling effort, we developed a new Correlator toolset that includes a consolidation of applications from a variety of popular GPGPU benchmark suites, designed to run in reasonable simulation times. The Correlator also includes a database of hardware profiling results for all these applications on NVIDIA cards ranging from Fermi to Volta and a toolchain that enables users to gather correlation statistics and create detailed counter-by-counter hardware correlation plots with minimal effort.

연구 동기 및 목표

• GPU 아키텍처 연구에서 시뮬레이션 정확도와 실제 하드웨어 행동 간 격차가 점점 커지는 데 대응하기 위해.
• 특히 메모리 시스템 모델링에서 널리 사용되는 GPGPU-Sim 시뮬레이터의 주요 정확도 오류를 규명하고 수정하기 위해.
• 시뮬레이션 정확도 오류가 아키텍처 설계 결정을 왜곡하는 방식, 예를 들어 L1 캐시 영향을 과도하게 평가하고 순서가 바뀐 메모리 스케줄링의 이점을 과소평가하는 방식을 보여주기 위해.
• 미래 GPU 시뮬레이터 개발을 위한 개방형이고 재현 가능한 검증 프레임워크를 개발하기 위해.
• 학술 연구를 위해 고정밀도, 개방형의 NVIDIA Volta GPU 메모리 시스템 모델을 제공하기 위해.

제안 방법

• 역공학 및 하드웨어 마이크로벤치마크를 기반으로, Volta GPU의 세부 동작을 반영하도록 GPGPU-Sim의 메모리 시스템 모듈을 단계별로 재설계하였다.
• 공개 문서, 이전 마이크로벤치마크 연구 및 새로운 역공학적 통찰(캐시 섹터링, 코alescing, 쓰기 정책 등)의 결과를 통합하였다.
• 실제 하드웨어 동작을 반영하기 위해 적응형 L1 캐시 구성 정책과 정확한 L2 캐시 교체 로직을 구현하였다.
• 다양한 GPGPU 워크로드를 사용하여 실제 NVIDIA TITAN V GPU와의 대조를 통해 신규 모델의 카운터별 검증을 수행하였다.
• Fermi에서 Volta에 이르는 여러 GPU 세대에 걸쳐 카운터 간 상관관계 분석, 플롯 생성, 벤치마크 통합을 자동화하는 데 사용할 수 있는 Correlator 도구세트를 개발하였다.
• 향상된 시뮬레이터를 사용하여 다양한 구성 조건에서 실제 하드웨어와의 비교를 통해 아키텍처 설계 트레이드오프에 대한 사례 연구를 수행하였다.

실험 결과

연구 질문

• RQ1 GPGPU-Sim의 메모리 시스템 모델 정확도는 NVIDIA TITAN V를 시뮬레이션할 때 실제 Volta GPU 하드웨어의 주요 성능 카운터와 비교해 어떻게 되는가?
• RQ2 기존 오픈소스 시뮬레이터에서 Volta GPU 메모리 시스템의 어떤 특정 아키텍처 기능이 잘못 표현되거나 단순화되어 있는가?
• RQ3 메모리 시스템의 시뮬레이션 정확도 오류가 L1 캐시 버스트나 순서가 바뀐 메모리 스케줄링과 같은 아키텍처 설계 제안의 평가에 어떤 영향을 미치는가?
• RQ4 개선된 시뮬레이션 정확도는 실제 하드웨어 대비 실행 사이클 오차를 얼마나 줄이는가?
• RQ5 세밀한 마이크로벤치마크와 역공학을 통해 이전에 공개되지 않은 메모리 시스템 동작은 무엇을 드러내는가?

주요 결과

• 향상된 GPGPU-Sim 모델은 NVIDIA TITAN V를 시뮬레이션할 때 원래의 GPGPU-Sim 3.x 모델 대비 메모리 시스템 카운터의 평균 절대 오차를 최대 66× 감소시켰다.
• 새로운 모델을 사용할 경우 기존 모델 대비 실행 사이클 오차가 2.5× 감소하여 시뮬레이션의 정밀도가 크게 향상되었다.
• 실제 하드웨어와의 실행 사이클 상관관계는 기존 모델의 경우 71%에 그쳤지만, 새로운 모델은 96%에 도달했다.
• 원래의 GPGPU-Sim 모델은 L1 캐시를 성능 저하의 원인로 잘못 식별하여 그 영향을 과도하게 평가하고 순서가 바뀐 메모리 스케줄링의 이점을 과소평가하고 있었다.
• 이 연구는 Volta의 섹터 기반 L1 및 L2 캐시, 적응형 L1 구성, 대역폭 절약형 L2 쓰기 정책 등 이전에 공개되지 않은 기능을 발견하였다.
• Correlator 도구세트는 시뮬레이션과 실제 하드웨어 간의 카운터별 상관관계 분석을 신속하고 자동화된 방식으로 가능하게 하여 향후 모델 검증을 촉진한다.