[논문 리뷰] Efficient Deep Learning Using Non-Volatile Memory Technology

Ahmet Inci, Mehmet Meric Isgenc외 1명|arXiv (Cornell University)|2022. 06. 27.

Ferroelectric and Negative Capacitance Devices인용 수 5

한 줄 요약

이 논문은 딥러닝 워크로드를 대상으로 GPU 아키텍처의 최종 레벨 캐시에서 비휘발성 메모리(NVM) 기술—특히 STT-MRAM 및 SOT-MRAM—를 모델링하고 분석하는 크로스 레이어 프레임워크인 DeepNVM++을 제안한다. 실세계 딥러닝 워크로드에서의 실제 메모리 액세스 패턴과 회로 수준의 특성 분석을 융합함으로써, 동일 면적 조건에서 NVM 기반 캐시가 SRAM 대비 최대 4.7배 낮은 에너지-지연 제품(Energy-Delay Product, EDP)과 3.3배 높은 캐시 용량을 달성함을 입증한다. 특히 대용량 캐시에서 뛰어난 스케일링 성능을 보인다.

ABSTRACT

Embedded machine learning (ML) systems have now become the dominant platform for deploying ML serving tasks and are projected to become of equal importance for training ML models. With this comes the challenge of overall efficient deployment, in particular low power and high throughput implementations, under stringent memory constraints. In this context, non-volatile memory (NVM) technologies such as STT-MRAM and SOT-MRAM have significant advantages compared to conventional SRAM due to their non-volatility, higher cell density, and scalability features. While prior work has investigated several architectural implications of NVM for generic applications, in this work we present DeepNVM++, a comprehensive framework to characterize, model, and analyze NVM-based caches in GPU architectures for deep learning (DL) applications by combining technology-specific circuit-level models and the actual memory behavior of various DL workloads. DeepNVM++ relies on iso-capacity and iso-area performance and energy models for last-level caches implemented using conventional SRAM and emerging STT-MRAM and SOT-MRAM technologies. In the iso-capacity case, STT-MRAM and SOT-MRAM provide up to 3.8x and 4.7x energy-delay product (EDP) reduction and 2.4x and 2.8x area reduction compared to conventional SRAM, respectively. Under iso-area assumptions, STT-MRAM and SOT-MRAM provide up to 2.2x and 2.4x EDP reduction and accommodate 2.3x and 3.3x cache capacity when compared to SRAM, respectively. We also perform a scalability analysis and show that STT-MRAM and SOT-MRAM achieve orders of magnitude EDP reduction when compared to SRAM for large cache capacities. DeepNVM++ is demonstrated on STT-/SOT-MRAM technologies and can be used for the characterization, modeling, and analysis of any NVM technology for last-level caches in GPUs for DL applications.

연구 동기 및 목표

• 딥러닝 워크로드의 증가하는 캐시 요구사항과 SRAM의 에너지, 면적, 스케일링 성능에 한계가 있는 점을 고려해 증가하는 메모리 병목 현상을 해결한다.
• 미래 GPU 캐시의 PPA(Power, Performance, Area) 향상을 위해 최근 등장한 비휘발성 메모리(NVM) 기술—STT-MRAM 및 SOT-MRAM—의 타당성을 탐색한다.
• 기술, 아키텍처, 워크로드 레이어를 아우르는 NVM 기반 캐시의 모델링 및 분석을 위한 종합적 프레임워크를 개발한다.
• 에너지 효율성, 면적 감소, 확장성 측면에서 NVM의 잠재력을 정량화하여 향후 GPU 플랫폼의 설계 공간 탐색을 가능하게 한다.

제안 방법

• 실제 GPU 플랫폼에서 실행되는 딥러닝 워크로드의 상세한 메모리 액세스 프로파일링과 함께 STT-MRAM 및 SOT-MRAM의 회로 수준 모델을 통합한다.
• 성능, 에너지, 면적 지표를 기반으로 등용량 및 동일 면적 조건에서 NVM과 SRAM을 비교하기 위해 분석을 수행한다.
• 캐시 크기가 변할 때의 캐시 용량과 외부 메모리 액세스 패턴을 정량화하기 위해 아키텍처 수준의 시뮬레이션을 수행하며, 특히 동일 면적 조건에서의 분석을 중점으로 한다.
• 메모리 액세스 통계와 장치 수준의 특성 분석을 자동으로 통합하여 딥러닝 워크로드에 대한 시스템 수준의 영향을 평가한다.
• 실제 성능과 에너지 모델링을 보장하기 위해 상용 16nm CMOS 공정 데이터와 NVM 비트셀 모델을 활용한다.
• 기술 노드, 워크로드, 캐시 구성, 최적화 목표 등 다양한 설계 포인트를 평가하기 위해 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 등용량 조건에서 STT-MRAM 및 SOT-MRAM는 기존 SRAM 대비 에너지-지연 제품(EDP), 면적, 캐시 용량 측면에서 어떻게 비교되는가?
• RQ2 특히 대용량 캐시에서 면적이 일정한 조건에서 GPU의 NVM 기반 최종 레벨 캐시가 성능 및 에너지 측면에서 어떤 이점을 가지는가?
• RQ3 캐시 용량이 증가함에 따라 STT-MRAM 및 SOT-MRAM는 딥러닝 워크로드에서 SRAM 대비 PPA(Power, Performance, Area) 측면에서 얼마나 잘 스케일링되는가?
• RQ4 NVM 캐시에서 확보한 에너지 및 지연 절감 효과는 기존 SRAM로는 구현하기 어려운 새로운 片상 리소스 기능을 구현하는 데 어떻게 활용될 수 있는가?
• RQ5 엄격한 에너지 및 면적 제약 조건을 가진 모바일 및 엣지 인fer 플랫폼에서 NVM 기반 캐시의 잠재력은 어떠한가?

주요 결과

• 등용량 조건에서 STT-MRAM 및 SOT-MRAM는 SRAM 대비 최대 3.8배, 4.7배의 에너지-지연 제품(EDP) 절감을 달성한다.
• 동일한 캐시 용량 조건에서 STT-MRAM 및 SOT-MRAM는 각각 SRAM 대비 최대 2.4배, 2.8배의 면적 감소를 기록한다.
• 동일 면적 조건에서 STT-MRAM 및 SOT-MRAM는 SRAM 대비 최대 2.3배, 3.3배 높은 캐시 용량을 지원한다.
• 대용량 캐시에서 STT-MRAM 및 SOT-MRAM는 EDP 측면에서 SRAM를 수십 배 이상 뛰어넘는 성능을 보이며, 뛰어난 스케일링 성능을 입증한다.
• NVM 캐시에서 확보한 에너지 및 지연 절감 효과는 추가적인 片상 리소스 확보를 가능하게 하여, 기존 SRAM로는 구현하기 어려운 새로운 기능을 실현할 수 있다.
• 프레임워크는 STT-MRAM 및 SOT-MRAM가 비휘발성, 고밀도, 확장성 등의 특성 덕분에 향후 GPU 및 모바일 가속기 설계에 매우 유망하다는 것을 입증한다.