[논문 리뷰] A neural network memory prefetcher using semantic locality

Leeor Peled, Uri Weiser외 1명|arXiv (Cornell University)|2018. 03. 19.

Parallel Computing and Optimization Techniques참고 문헌 47인용 수 6

한 줄 요약

이 논문은 프로그램 컨텍스트와 메모리 액세스 패턴 간의 상관관계를 학습함으로써 의미적 국소성(semantic locality)을 활용하는 신경망 기반 메모리 프리패치 기법을 제안한다. 런타임 시의 머신 및 프로그램 상태를 기반으로 훈련함으로써, 이 프리패처는 향후 주소를 예측하며 SPEC2006에서 평균 30%의 성능 향상을 기록하고, 커널에서는 최대 4.6×까지 향상시키며, 우수한 연관 학습 및 패턴 탐지 능력을 바탕으로 최신 히우리스틱 프리패처를 능가한다.

ABSTRACT

Accurate memory prefetching is paramount for processor performance, and modern processors employ various techniques to identify and prefetch different memory access patterns. While most modern prefetchers target spatio-temporal patterns by matching memory addresses that are accessed in close proximity (either in space or time), the recently proposed concept of semantic locality views locality as an artifact of the algorithmic level and searches for correlations between memory accesses and program state. While this approach was shown to be effective, capturing semantic locality requires significant associative learning capabilities. In this paper we utilize neural networks for this task. We leverage recent advances in machine learning to propose a neural network prefetcher. We show that by observing program context, this prefetcher can learn distinct memory access patterns that cannot be covered by other state-of-the-art prefetchers. We evaluate the neural network prefetcher over SPEC2006, Graph500, and several microbenchmarks. We show that the prefetcher can deliver an average speedup of 30% for SPEC2006 (up to 2.7x) and up to 4.6x over kernels. We also present a high-level design of our prefetcher, explore the power, energy and area limitations, and propose several optimizations for feasibility. We believe that this line of research can further improve the efficiency of such neural networks and allow harnessing them for additional micro-architectural predictions.

연구 동기 및 목표

• 신경망이 복잡한 메모리 액세스 패턴을 포괄하는 데 있어 히우리스틱 및 강화학습 기반 프리패처를 능가할 수 있는지 탐색하는 것.
• 의미적 국소성에 기반한 동적이고 컨텍스트 인식 가능한 메모리 프리패칭을 위한 신경망의 실현 가능성 탐구.
• 현대 프로세서에 구현된 신경망 프리패처의 성능, 에너지, 면적 간 상호 교환 관계 평가.
• 효율적이고 정확한 주소 예측을 위한 최적의 네트워크 아키텍처 및 정밀도 감소 전략 식별.
• 신경망이 여러 스펙트럴-시간 프리패칭 히우리스틱을 하나의 적응형 학습 엔진으로 통합할 수 있음을 입증하는 것.

제안 방법

• 프리패처는 런타임 시 프로그램 및 머신 컨텍스트 특징을 기반으로 훈련된 순방향 신경망을 사용하여 향후 메모리 액세스를 예측한다.
• 입력 특징으로는 프로그램 카운터 이력, 레지스터 상태, 메모리 액세스 패턴이 포함되며, 이는 네트워크 처리를 위해 벡터로 인코딩된다.
• 예측 오차를 최소화하기 위해 역전파 알고리즘을 사용해 네트워크를 훈련한다.
• 면적, 전력, 에너지 효율성 향상을 위한 최적화를 포함한 고수준의 마이크로아키텍처 설계가 제안된다.
• 하드웨어 구현 가능성 향상을 위해 정밀도 감소 기법(예: 3비트 가중치)이 평가된다.
• 동적 훈련을 포함한 gem5 시뮬레이션을 통해 SPEC2006, Graph500 및 수작업으로 작성된 커널에서 시스템이 평가된다.

실험 결과

연구 질문

• RQ1 신경망이 전통적인 스펙트럴-시간 프리패처가 포괄하지 못하는 복잡한 메모리 액세스 패턴을 효과적으로 학습하고 일반화할 수 있는가?
• RQ2 다양한 워크로드에서 신경망 프리패처의 성능가 최신 히우리스틱 및 강화학습 기반 프리패처와 비교해 볼 때 어떤가?
• RQ3 하드웨어로 실행 가능한 프리패처에서 네트워크 크기, 깊이, 정밀도, 예측 정확도 간의 상호 교환 관계는 어떠한가?
• RQ4 정밀도 감소가 신경망 프리패처의 학습 수렴 및 예측 정확도에 어떤 영향을 미치는가?
• RQ5 의미적 국소성(신경망이 포착한)이 기존의 컨텍스트-RL 또는 히우리스틱 방법보다 뚜렷한 이점을 제공하는 워크로드는 어떤가?

주요 결과

• 신경망 프리패처는 SPEC2006 벤치마크 전체에서 평균 30%의 성능 향상을 기록했으며, 일부 벤치마크에서는 최대 2.7×까지 향상되었다.
• 선택된 커널에서는 최대 4.6×의 성능 향상을 기록했으며, 기준선 및 다른 최신 프리패처를 크게 능가했다.
• SPEC2006에서 성능 향상 측면에서 GHB-PC/DC보다 43% 향상되었고, SMS보다 2배, VLDP보다 2.9배 향상되었다.
• 3비트 정밀도로 정밀도 감소를 적용했을 때 대부분의 벤치마크에서 성능 저하가 미미했지만, MCF와 gemsFDTD는 수렴 문제로 인해 상당한 성능 저하가 발생했다.
• 자주 변화하는 상태를 가지는 복잡하고 진화하는 데이터 구조를 가진 워크로드(예: LBM, prim, matmul)에서는 컨텍스트-RL이 어려움을 겪는 데 비해, 신경망이 뛰어난 성능을 보였다.
• 분산 가중치 저장 기반으로 대용량 데이터 세트 환경에서 뛰어난 확장성을 보이며, 긴 스킵 및 복잡한 순회 상황에서 컨텍스트-RL을 능가했다.