[논문 리뷰] SEE-MCAM: Scalable Multi-bit FeFET Content Addressable Memories for Energy Efficient Associative Search

Shengxi Shou, Che-Kai Liu외 8명|arXiv (Cornell University)|2023. 10. 07.

Ferroelectric and Negative Capacitance Devices인용 수 4

한 줄 요약

이 논문은 유기전계장효과트랜지스터(FeFET) 기반의 다중비트 콘텐츠어드레서블메모리(CAM)인 SEE-MCAM을 제안한다. 이는 FeFET의 다중레벨셀(MLC) 기능을 활용하여 고밀도, 에너지 효율적인 연관 검색을 가능하게 한다. NOR형 및 NAND형 2FeFET-1T 및 2FeFET-2T CAM 아키텍처를 설계함으로써 SEE-MCAM은 세포당 3비트 저장이 가능하며, CMOS CAM 대비 8%의 비트당 면적, 9.8배의 뛰어난 에너지 효율성, CMOS CAM 대비 1.6배 빠른 검색 지연을 달성한다. 또한 양자화된 초차원 컴퓨팅 워크로드에서 GPU 대비 최대 3배의 속도 향상과 에너지 효율성 향상을 보였다.

ABSTRACT

In this work, we propose SEE-MCAM, scalable and compact multi-bit CAM (MCAM) designs that utilize the three-terminal ferroelectric FET (FeFET) as the proxy. By exploiting the multi-level-cell characteristics of FeFETs, our proposed SEE-MCAM designs enable multi-bit associative search functions and achieve better energy efficiency and performance than existing FeFET-based CAM designs. We validated the functionality of our proposed designs by achieving 3 bits per cell CAM functionality, resulting in 3x improvement in storage density. The area per bit of the proposed SEE-MCAM cell is 8% of the conventional CMOS CAM. We thoroughly investigated the scalability and robustness of the proposed design. Evaluation results suggest that the proposed 2FeFET-1T SEE-MCAM achieves 9.8x more energy efficiency and 1.6x less search latency compared to the CMOS CAM, respectively. When compared to existing MCAM designs, the proposed SEE-MCAM can achieve 8.7x and 4.9x more energy efficiency than ReRAM-based and FeFET-based MCAMs, respectively. Benchmarking results show that our approach provides up to 3 orders of magnitude improvement in speedup and energy efficiency over a GPU implementation in accelerating a novel quantized hyperdimensional computing (HDC) application.

연구 동기 및 목표

• AI 워크로드에서 발생하는 메모리 월 병목 현상을 해결하기 위해 메모리 내 고밀도, 저에너지 연관 검색을 가능하게 하기 위해.
• 기존 NVM 기반 이진 및 다중비트 CAM의 한계를 극복하기 위해, 단일레벨셀(SLC) 작동에 제약을 받고, 고면적, 고에너지 소비 또는 장치 변동성에 민감한 문제를 해결하기 위해.
• FeFET의 다중레벨셀(MLC) 특성을 활용하여 확장 가능하고 컴act하며 내구성이 뛰어난 다중비트 CAM(MCAM) 설계를 가능하게 하여 에너지 효율성과 성능을 향상시키기 위해.
• 제안된 FeFET 기반 MCM이 실제 AI 워크로드, 특히 양자화된 초차원 컴퓨팅(HDC)에서의 실현 가능성과 우수성을 검증하기 위해.

제안 방법

• 다중레벨 인버터 기반 출력(MIBO) 개념을 활용하여 FeFET 당 다수의 비트를 저장할 수 있는 2FeFET 다중레벨셀(MLC) 구조를 설계한다.
• 최소한의 면적 및 에너지 오버헤드로 다중비트 연관 검색을 지원하기 위해 NOR형 2FeFET-1T 및 NAND형 2FeFET-2T 두 가지 CAM 아키텍처를 제안한다.
• 초벡터 요소를 3비트 값으로 매핑하기 위해 비선형 양자화 방식을 구현하여 SEE-MCAM의 3비트/셀 설계와의 호환성을 확보한다.
• 성능 및 에너지 효율성 평가를 위해 SEE-MCAM을 양자화된 초차원 컴퓨팅(HDC) 프레임워크에 통합하고, GPU 및 기타 CAM 기반 구현 방식과 비교한다.
• 기준 비교를 위해 16T CMOS CAM을 사용하고, 실제 데이터셋(ISOLET, UCIHAR, PAMAP) 기반의 시뮬레이션 및 하드웨어 기반 벤치마크를 통해 성능을 평가한다.
• GPU 및 SEE-MCAM 기반 HDC 워크로드에서 정확한 전력 및 지연 측정을 위해 Nvidia System Management Interface와 PyTorch 프로파일러를 활용한다.

실험 결과

연구 질문

• RQ1 FeFET 기반 다중비트 CAM은 기존 이진 및 다중비트 CAM보다 더 높은 저장 밀도와 에너지 효율성을 달성할 수 있는가?
• RQ2 FeFET의 다중레벨셀(MLC) 특성을 효과적으로 활용하여 확장 가능하고 저에너지 소비의 다중비트 연관 검색을 가능하게 할 수 있는가?
• RQ3 실제 AI 워크로드에서 SEE-MCAM은 CMOS 기반 CAM 및 기타 NVM 기반 CAM 대비 어떤 성능 및 에너지 효율성 향상을 보이는가?
• RQ4 SEE-MCAM은 이진 CAM 및 GPU 대비 양자화된 초차원 컴퓨팅(HDC) 응용 분야에서 정확도 및 효율성을 얼마나 향상시키는가?

주요 결과

• 제안된 2FeFET-1T SEE-MCAM은 16T CMOS CAM 대비 9.8배 높은 에너지 효율성과 1.6배 빠른 검색 지연을 달성한다.
• SEE-MCAM은 세포당 3비트 기능을 구현하여 이진 CAM 대비 3배의 저장 밀도 향상을 보였다.
• SEE-MCAM 셀의 비트당 면적은 기존 CMOS CAM의 8%에 불과하여 면적 스케일링 측면에서 뚜렷한 우수성을 입증했다.
• ReRAM 기반 및 FeFET 기반 MCAM 대비 SEE-MCAM은 각각 8.7배 및 4.9배 높은 에너지 효율성을 확보했다.
• 양자화된 HDC 워크로드에서 SEE-MCAM 기반 구현은 GPU(GTX 1080ti) 대비 최대 3개 정도의 순서로 속도 향상과 에너지 효율성 향상을 보였다.
• 3비트 SEE-MCAM은 더 높은 초벡터 차원성 덕분에 2비트 버전 대비 2.41% 높은 정확도를 기록했으며, 이진 COSIME 기반 구현 대비 2.26% 높은 정확도를 확보했다.