[논문 리뷰] DeepNVM++: Cross-Layer Modeling and Optimization Framework of Non-Volatile Memories for Deep Learning

Ahmet Inci, Mehmet Meric Isgenc외 1명|arXiv (Cornell University)|2020. 12. 08.

Advanced Memory and Neural Computing참고 문헌 58인용 수 17

한 줄 요약

DeepNVM++는 딥러닝 워크로드에서 GPU 최종 캐시의 STT-MRAM 및 SOT-MRAM을 모델링하고 최적화하는 크로스 레이어 프레임워크이다. 실제 GPU 메모리 프로파일링과 회로 수준의 NVM 특성 분석을 통합함으로써, 동일 면적 조건에서 SRAM 대비 최대 4.7×의 EDP 절감과 3.3× 높은 캐시 용량을 입증하였으며, 대규모 캐시에서는 수개의 주기적 향상이 이루어진다.

ABSTRACT

Non-volatile memory (NVM) technologies such as spin-transfer torque magnetic random access memory (STT-MRAM) and spin-orbit torque magnetic random access memory (SOT-MRAM) have significant advantages compared to conventional SRAM due to their non-volatility, higher cell density, and scalability features. While previous work has investigated several architectural implications of NVM for generic applications, in this work we present DeepNVM++, a framework to characterize, model, and analyze NVM-based caches in GPU architectures for deep learning (DL) applications by combining technology-specific circuit-level models and the actual memory behavior of various DL workloads. We present both iso-capacity and iso-area performance and energy analysis for systems whose last-level caches rely on conventional SRAM and emerging STT-MRAM and SOT-MRAM technologies. In the iso-capacity case, STT-MRAM and SOT-MRAM provide up to 3.8x and 4.7x energy-delay product (EDP) reduction and 2.4x and 2.8x area reduction compared to conventional SRAM, respectively. Under iso-area assumptions, STT-MRAM and SOT-MRAM provide up to 2x and 2.3x EDP reduction and accommodate 2.3x and 3.3x cache capacity when compared to SRAM, respectively. We also perform a scalability analysis and show that STT-MRAM and SOT-MRAM achieve orders of magnitude EDP reduction when compared to SRAM for large cache capacities. Our comprehensive cross-layer framework is demonstrated on STT-/SOT-MRAM technologies and can be used for the characterization, modeling, and analysis of any NVM technology for last-level caches in GPUs for DL applications.

연구 동기 및 목표

• 딥러닝 워크로드에서 GPU 최종 캐시의 SRAM 확장성 한계를 해결하기 위해.
• GPU 아키텍처에서 새로운 NVM 기술인 STT-MRAM 및 SOT-MRAM의 전력, 성능, 면적(PPA) 간 상호 교환 관계를 평가하기 위해.
• 통합 모델링 프레임워크를 통해 딥러닝 워크로드에서 NVM 기반 캐시의 설계 공간 탐색을 가능하게 하기 위해.
• 다양한 딥러닝 워크로드에서 일정 용량 및 일정 면적 조건에서 NVM의 이점을 정량화하기 위해.

제안 방법

• STT-MRAM 및 SOT-MRAM의 기술 특성에 기반한 회로 수준 모델을 딥러닝 워크로드의 실제 메모리 액세스 패턴과 통합한다.
• 일정 용량 분석을 위해 실제 GPU 플랫폼에서 딥러닝 워크로드(학습 및 추론)의 광범위한 메모리 프로파일링을 수행한다.
• 다양한 캐시 크기를 고려한 일정 면적 분석을 위해 아키텍처 수준 시뮬레이션을 활용하여 캐시 용량과 외부 메모리 액세스를 추정한다.
• 메모리 통계를 마이크로아키텍처 및 회로 수준 분석과 자동으로 통합하여 PPA 지표를 평가한다.
• 에너지-지연 제품(EDP), 면적, 지연 시간을 다양한 캐시 구성에서의 주요 성능 지표로 사용한다.
• 다양한 캐시 용량 범위에서 NVM과 SRAM을 비교함으로써 확장성 분석을 지원한다.

실험 결과

연구 질문

• RQ1 딥러닝 워크로드에서 일정 용량 조건에서 STT-MRAM 및 SOT-MRAM는 SRAM 대비 에너지-지연 제품(EDP)과 면적에서 어떻게 비교되는가?
• RQ2 캐시 면적이 고정된 조건(일정 면적)에서 NVM을 사용할 경우 SRAM 대비 성능 및 에너지 절감 효과는 어떠한가?
• RQ3 특히 대규모 딥러닝 추론 및 학습 환경에서 캐시 크기가 증가함에 따라 NVM의 EDP 및 용량 확장성은 어느 정도 향상되는가?
• RQ4 실제 GPU 메모리 동작과 함께 회로 수준의 NVM 모델을 통합할 경우 PPA 추정 정확도에 어떤 영향을 미치는가?
• RQ5 에너지 및 면적 절감으로 인해 NVM 기반 캐시를 통해 추가적인 온칩 자원(예: 처리 유닛 또는 더 큰 캐시)을 확보할 잠재력은 어떠한가?

주요 결과

• 일정 용량 조건에서 STT-MRAM 및 SOT-MRAM는 각각 SRAM 대비 최대 3.8× 및 4.7×의 에너지-지연 제품(EDP) 절감을 달성한다.
• 동일한 캐시 용량에서 SRAM를 대체할 경우 STT-MRAM 및 SOT-MRAM는 각각 2.4× 및 2.8×의 면적 절감을 제공한다.
• 일정 면적 조건에서 STT-MRAM 및 SOT-MRAM는 각각 SRAM 대비 최대 2× 및 2.3×의 EDP 절감을 제공한다.
• SOT-MRAM는 동일한 면적 예산에서 SRAM 대비 최대 3.3× 높은 캐시 용량을 지원하며, STT-MRAM는 2.3× 높은 용량을 제공한다.
• 대규모 캐시 용량에서 STT-MRAM 및 SOT-MRAM는 EDP 측면에서 SRAM를 수개의 주기적 향상으로 능가하며, 이는 뛰어난 확장성 잠재력을 보여준다.
• NVM에서 유도된 에너지 및 지연 시간 절감은 처리 유닛 또는 더 큰 캐시와 같은 추가적인 온칩 자원 확보에 활용될 수 있으며, 새로운 기능 구현 가능성을 열어준다.