[논문 리뷰] Towards Memory Prefetching with Neural Networks: Challenges and Insights.

Leeor Peled, Uri Weiser외 1명|arXiv (Cornell University)|2018. 03. 19.

Parallel Computing and Optimization Techniques인용 수 5

한 줄 요약

이 논문은 전통적인 시공간 국소성 외의 복잡한 알고리즘 기반 메모리 액세스 패턴을 학습함으로써 의미 국소성(semantic locality)을 타겟으로 하는 신경망 기반 프리패처를 제안한다. SPEC2006 및 커스터마이즈드 커널에서 평가한 결과, 평균 22%의 성능 향상(최대 90%)을 기록했으며, 수작업으로 작성된 커널에서는 최대 5배의 성능 향상을 보였다. 이는 상태 기반 프리패처보다 뛰어난 패턴 인식 능력을 보이며, 구현 과제가 있음에도 불구하고 우수한 성능을 발휘한다.

ABSTRACT

Accurate memory prefetching is paramount for processor performance, and modern processors employ various techniques to identify and prefetch different memory access patterns. While most modern prefetchers target spatio-temporal patterns by matching memory addresses that are accessed in close proximity (either in space or time), the recently proposed concept of semantic locality views locality as an artifact of the algorithmic level and searches for correlations between memory accesses and program state. While this approach was shown to be effective, capturing semantic locality requires significant associative learning capabilities. In this paper we utilize neural networks for this task. Artificial neural networks are becoming increasingly effective in tasks of pattern recognition and associative learning of complex relations. We leverage recent advances in this field to propose a conceptual neural network prefetcher. We show that by targeting semantic locality, this prefetcher can learn distinct memory access patterns that cannot be covered by other state-of-the-art prefetchers. We evaluate the neural network prefetcher over SPEC2006, Graph500, and a variety of handwritten kernels. We show that the prefetcher can deliver an average speedup of 22% for SPEC2006 (up to 90%) and up to 5x over kernels. We also explore the limitations of using neural networks for prefetching. Ultimately, we conclude that although there are still many challenges to overcome before we can reach a feasible, power-efficient implementation, the neural network prefetcher potential gains over state-of-the-art prefetchers justify further exploration

연구 동기 및 목표

• 시공간 국소성에 의존하는 전통적 프리패처의 한계를 해결하고, 알고리즘 수준의 메모리 액세스 패턴을 포착하지 못하는 문제를 해결한다.
• 신경망이 메모리 액세스 간의 복잡한 상관관계와 프로그램 상태 간의 관계를 학습함으로써 의미 국소성을 효과적으로 모델링할 수 있는지 탐구한다.
• 기존 최첨단 기법으로는 탐지하지 못하는 메모리 액세스 패턴을 식별할 수 있는 개념적 신경망 프리패처를 개발한다.
• SPEC2006, Graph500, 수작업으로 작성된 커널을 포함한 다양한 워크로드에서 신경 프리패처의 성능 및 확장성 평가한다.
• 특히 전력 효율성과 실세계 적용 가능성 측면에서 신경망을 메모리 프리패칭에 구현할 때 발생하는 실질적 과제를 특정하고 분석한다.

제안 방법

• 메모리 액세스 시퀀스와 프로그램 상태 변수 간의 연관성을 학습함으로써 의미 국소성을 모델링하기 위해 인공 신경망을 활용한다.
• 과거 메모리 액세스 트레이스와 해당하는 프로그램 상태 정보를 기반으로 훈련된 신경망 아키텍처를 설계하여 향후 메모리 액세스를 예측한다.
• 전체 흐름 최적화를 통해 프리패칭 오차를 최소화하고 명령 수준 병렬성 향상을 극대화하기 위해 네트워크를 최적화한다.
• SPEC2006, Graph500, 및 커스터마이즈드 수작업 커널에서 성능을 평가하기 위해 시뮬레이션 프레임워크에 신경 프리패처를 통합한다.
• 역전파와 기울기 기반 최적화를 적용하여 네트워크의 다양한 액세스 패턴에 대한 일반화 능력을 향상시킨다.
• 기존 프리패처가 간과하는 비선형적이고 알고리즘적으로 중요한 액세스 패턴을 탐지할 수 있는지 모델의 능력을 평가한다.

실험 결과

연구 질문

• RQ1 신경망은 시공간 상관관계를 초월해 의미 국소성을 효과적으로 학습하고 활용할 수 있는가?
• RQ2 표준 워크로드와 커스터마이즈드 워크로드에서 상태 기반 프리패처와 비교해 신경망 프리패처의 성능은 어떠한가?
• RQ3 신경학습을 통해 알고리즘 수준의 메모리 액세스 패턴을 타겟으로 함으로써 달성 가능한 주요 성능 향상은 무엇인가?
• RQ4 특히 전력 효율성과 실세계 적용 가능성 측면에서, 프로세서 환경에서 신경망 프리패처를 구현할 때의 주요 과제는 무엇인가?
• RQ5 신경망은 불규칙하거나 수작업으로 작성된 커널의 메모리 액세스 패턴에 대해 얼마나 잘 일반화할 수 있는가?

주요 결과

• 신경망 프리패처는 SPEC2006 벤치마크 세트에서 평균 22%의 성능 향상을 기록했으며, 일부 워크로드에선 최대 90% 향상되었다.
• 수작업으로 작성된 커널에서는 최대 5배의 성능 향상을 기록했으며, 이는 비정규적이고 알고리즘적으로 복잡한 액세스 패턴에 대해 매우 효과적임을 보여준다.
• 기존 최첨단 시공간 프리패처로는 탐지하지 못하는 메모리 액세스 패턴을 신경 프리패처가 성공적으로 식별했다.
• 상당한 성능 향상에도 불구하고, 전력 효율성과 실세계 구현 측면에서 도전 과제가 존재하여 향후 최적화가 필요하다는 점을 시사한다.
• 신경망이 복잡한 메모리 액세스 상관관계에 대해 연관 학습을 수행할 수 있음을 입증하며, 향후 프리패칭 연구에 매우 유망한 방향성을 제시한다.
• 연구 결과는 현재의 구현 가능성 제약에도 불구하고 신경 프리패칭의 성능 이점이 계속 탐색할 만한 가치가 있음을 결론 내린다.