[논문 리뷰] Eva-CiM: A System-Level Energy Evaluation Framework for Computing-in-Memory Architectures.

Di Gao, Dayane Reis외 2명|arXiv (Cornell University)|2019. 01. 27.

Parallel Computing and Optimization Techniques인용 수 3

한 줄 요약

Eva-CiM는 장치, 메모리, 시스템 수준에서 정확하고 빠르며 종합적인 에너지 추정을 가능하게 하는 컴퓨팅인메모리(CiM) 아키텍처를 위한 시스템 수준의 에너지 평가 프레임워크이다. 이는 GEM5, McPAT, DESTINY를 통합하여 개발되었다. SRAM 기반 CiM 아키텍처에서는 1.3–6.0×의 에너지 절감을, FeFET-RAM 기반 CiM에서는 2.0–7.9×의 에너지 절감을 달성하여 설계 공간 탐색과 워크로드 특화 최적화를 지원한다.

ABSTRACT

Computing-in-Memory (CiM) architectures aim to reduce costly data transfers by performing arithmetic and logic operations in memory and hence relieve the pressure due to the memory wall. However, determining whether a given workload can really benefit from CiM, which memory hierarchy and what device technology should be adopted by a CiM architecture requires in-depth study that is not only time consuming but also demands significant expertise in architectures and compilers. This paper presents an energy evaluation framework, Eva-CiM, for systems based on CiM architectures. Eva-CiM encompasses a multi-level (from device to architecture) comprehensive tool chain by leveraging existing modeling and simulation tools such as GEM5, McPAT [2] and DESTINY [3]. To support high-confidence prediction, rapid design space exploration and ease of use, Eva-CiM introduces several novel modeling/analysis approaches including models for capturing memory access and dependency-aware ISA traces, and for quantifying interactions between the host CPU and CiM modules. Eva-CiM can readily produce energy estimates of the entire system for a given program, a processor architecture, and the CiM array and technology specifications. Eva-CiM is validated by comparing with DESTINY [3] and [4], and enables findings including practical contributions from CiM-supported accesses, CiM-sensitive benchmarking as well as the pros and cons of increased memory size for CiM. Eva-CiM also enables exploration over different configurations and device technologies, showing 1.3-6.0X energy improvement for SRAM and 2.0-7.9X for FeFET-RAM, respectively.

연구 동기 및 목표

• 시스템 수준의 에너지 트레이드오��� 복잡성으로 인해 진정으로 CiM 아키텍처의 이점을 얻는 워크로드를 식별하는 데 도전하는 문제를 해결한다.
• 통합되고 자동화된 평가 프레임워크를 제공하여 CiM 시스템 설계 평가에 소요되는 시간과 전문 지식을 줄인다.
• 다양한 CiM 구성, 메모리 계층, 장치 기술에 걸쳐 정확한 에너지 추정을 가능하게 한다.
• 특정 워크로드에 최적화된 CiM 아키텍처 및 기술 선택을 안내하기 위해 빠른 설계 공간 탐색을 지원한다.
• 메모리 크기와 액세스 패턴이 CiM의 에너지 효율성에 미치는 영향에 대한 통찰을 제공한다.

제안 방법

• GEM5(프로세서 시뮬레이션), McPAT(전력 모델링), DESTINY(장치 수준 모델링) 등 기존 도구를 통합하여 통합된 다중 수준 시뮬레이션 스택을 구축한다.
• CiM 워크로드의 메모리 액세스 패턴과 데이터 종속성을 포착하기 위해 종속성 인식 지능형 명령어 세트 아키텍처(ISA) 트레이스 모델을 개발한다.
• 호스트 CPU와 CiM 모듈 간의 공동 설계 상호작용을 모델링하여 오프로드된 작업의 성능 및 에너지 영향을 정량화한다.
• 프로세서, 메모리 계층, CiM 어레이, 장치 기술을 포함한 전체 시스템 구성에 대한 자동 에너지 추정을 지원한다.
• 설정 가능한 시뮬레이션 파rameter를 통해 장치 기술(예: SRAM, FeFET-RAM)과 메모리 크기 변화를 빠르게 탐색할 수 있도록 지원한다.
• 예측 정확도를 확보하기 위해 DESTINY 및 이전 연구 결과와의 정합성을 검증하여 고신뢰도의 에너지 추정을 보장한다.

실험 결과

연구 질문

• RQ1 어떤 워크로드와 애플리케이션 특성이 CiM 아키텍처를 통해 가장 큰 에너지 절감 효과를 낼 수 있는가?
• RQ2 다양한 메모리 계층 구성과 메모리 크기는 CiM 시스템의 에너지 효율성에 어떤 영향을 미치는가?
• RQ3 다양한 워크로드에서 SRAM 대비 FeFET-RAM을 사용할 경우 CiM 어레이에서 기대할 수 있는 상대적 에너지 이점은 무엇인가?
• RQ4 데이터 종속성과 메모리 액세스 패턴은 CiM 오프로딩의 효과성에 어떤 영향을 미치는가?
• RQ5 호스트-CiM 상호작용과 통신 오버헤드는 CiM 아키텍처의 에너지 절감 효과를 어느 정도 제한하는가?

주요 결과

• Eva-CiM는 평가된 워크로드 전반에서 SRAM 기반 CiM 아키텍처에 대해 1.3–6.0×의 에너지 절감을 가능하게 한다.
• FeFET-RAM 기반 CiM의 경우 에너지 절감 범위는 2.0–7.9×로, 저전력 응용 분야에서 강력한 잠재력을 보여준다.
• 이 프레임워크는 CiM 지원 메모리 액세스에서 실질적인 기여를 식별하여, 모든 워크로드가 동일하게 유리한 것은 아님을 보여준다.
• CiM 어레이의 메모리 크기를 증가시키면 에너지 효율성이 일정 수준까지 향상되지만, 최적 설정을 초과하면 수익 감소 현상이 관찰된다.
• CiM에 민감한 벤치마킹 결과는 높은 데이터 재사용성과 규칙적인 액세스 패턴을 가진 워크로드에서 가장 큰 에너지 절감 효과를 얻을 수 있음을 시사한다.
• 호스트 CPU와 CiM 모듈 간의 상호작용은 총 시스템 에너지에 큰 영향을 미치며, 공동 최적화 설계의 필요성을 강조한다.