[논문 리뷰] Holistic Management of the GPGPU Memory Hierarchy to Manage Warp-level Latency Tolerance

Rachata Ausavarungnirun, Saugata Ghose외 5명|arXiv (Cornell University)|2018. 04. 30.

Parallel Computing and Optimization Techniques참고 문헌 49인용 수 5

한 줄 요약

이 논문은 GPGPU 워프의 메모리 분열 행동에 따라 동적으로 고·저 캐시 유용성으로 분류하는 하드웨어 인식 기법인 메모리 분열 보정(MeDiC)을 제안한다. MeDiC는 이 분류를 바탕으로 캐시 우회, 삽입 및 메모리 스케줄링을 최적화하여, 15개의 GPGPU 워크로드에서 최신 기술 대비 평균 21.8%의 성능 향상과 20.1% 향상된 에너지 효율성을 달성한다. 이는 캐시 대기 지연을 줄이고 유용한 워프의 히트율을 향상시킴으로써 달성된다.

ABSTRACT

In a modern GPU architecture, all threads within a warp execute the same instruction in lockstep. For a memory instruction, this can lead to memory divergence: the memory requests for some threads are serviced early, while the remaining requests incur long latencies. This divergence stalls the warp, as it cannot execute the next instruction until all requests from the current instruction complete. In this work, we make three new observations. First, GPGPU warps exhibit heterogeneous memory divergence behavior at the shared cache: some warps have most of their requests hit in the cache, while other warps see most of their request miss. Second, a warp retains the same divergence behavior for long periods of execution. Third, requests going to the shared cache can incur queuing delays as large as hundreds of cycles, exacerbating the effects of memory divergence. We propose a set of techniques, collectively called Memory Divergence Correction (MeDiC), that reduce the negative performance impact of memory divergence and cache queuing. MeDiC delivers an average speedup of 21.8%, and 20.1% higher energy efficiency, over a state-of-the-art GPU cache management mechanism across 15 different GPGPU applications.

연구 동기 및 목표

• SIMD 실행으로 인해 가장 느린 메모리 요청이 전체 워프를 정지시키는 메모리 분열로 인한 성능 저하를 해결하기 위해.
• 워프 간 메모리 액세스 패턴의 이질성—특히 캐시 히트/미스 행동의 차이—을 이용하기 위해.
• 실시간 워프 분류에 기반해 캐시 우회, 삽입 및 메모리 스케줄링을 지능적으로 관리하여 L2 캐시의 고대기 지연 영향을 줄이기 위해.
• 고유용성 워프를 우선 처리하고 공유 메모리 자원에 대한 경쟁을 최소화함으로써 성능과 에너지 효율을 동시에 향상시키기 위해.

제안 방법

• 워프 수준의 메모리 분열 행동을 실시간으로 하드웨어 프로파일링하여 워프를 고유용성 또는 저유용성으로 분류하는 기법.
• 저유용성 워프(주로 미스)의 요청을 L2 캐시를 우회하여 대기 지연을 줄이고 대역폭을 확보하는 캐시 우회 메커니즘.
• 고유용성 워프(주로 히트)의 데이터를 보존하여 조기 삭제를 방지하고 히트율을 향상시키는 캐시 삽입 정책.
• 고유용성 워프의 요청을 우선 처리하여 정지 시간을 최소화하는 메모리 컨트롤러 우선순위 지정 기법.
• 실시간 워프 분류에 기반해 캐시 및 메모리 계층의 구성 요소를 통합적으로 공ออกแบบ하여 총 지연 시간을 감소시키는 기법.
• 시간이 지남에 따라 워프 분열 행동이 안정적이라는 관찰을 바탕으로 빈번한 재분류 없이도 신뢰할 수 있는 장기 최적화 결정을 가능하게 하는 기법.

실험 결과

연구 질문

• RQ1 L2 캐시에서 워프 간 메모리 분열 행동의 이질성을 활용하여 GPU 성능과 에너지 효율을 향상시킬 수 있는가?
• RQ2 워프를 고유용성 및 저유용성 카테고리로 동적으로 분류함으로써 캐시 대기 지연의 영향을 어떻게 줄일 수 있는가?
• RQ3 워프 수준의 분열 특성에 기반해 캐시 우회, 삽입 및 메모리 스케줄링을 어떻게 공동 최적화할 수 있는가?
• RQ4 주로 히트 워프를 모두 히트로, 주로 미스 워프를 모두 미스로 전환함으로써 전체 정지 시간을 줄이고 자원 활용도를 향상시킬 수 있는가?

주요 결과

• MeDiC는 캐시 유용성에 따라 워프를 분류하고 대상 최적화를 적용함으로써 메모리 분열의 성능 영향을 감소시킨다.
• 15개의 다양한 GPGPU 애플리케이션에서 최신 기술 대비 평균 21.8%의 성능 향상을 달성한다.
• 캐시 트래픽과 대기 지연이 감소함에 따라 같은 기준 대비 20.1% 향상된 에너지 효율성을 제공한다.
• 시간이 지남에 따라 워프 분열 행동이 안정적이므로 빈번한 재분류 없이도 안정적이고 장기적인 최적화 결정이 가능하다.
• 저유용성 워프에 대한 캐시 우회로 경쟁이 감소하고 L2 대역폭이 확보되어 고유용성 워프의 성능 향상에 기여한다.
• 고유용성 워프의 요청을 우선 처리함으로써 고메모리 압력 상황에서도 정지 시간을 크게 줄일 수 있다.