[논문 리뷰] A 481pJ/decision 3.4M decision/s Multifunctional Deep In-memory Inference Processor using Standard 6T SRAM Array

Mingu Kang, Sujan K. Gonugondla외 2명|arXiv (Cornell University)|2016. 10. 24.

Advanced Memory and Neural ComputingEngineering참고 문헌 3인용 수 22

한 줄 요약

이 논문은 표준 6T SRAM 기반의 65 nm CMOS 16KB 딥 인메모리 추론 프로세서를 제안하며, 4가지 응용 프로그램(SVM, 매칭 필터, 템플릿 매칭, KNN)에서 최대 5.6× 에너지 절감과 ≤1% 정확도 손실을 기록하면서 3.4M 결정/초에서 481 pJ/결정의 에너지 효율성을 달성한다. 이는 SRAM 비트셀 어레이에서 피치 매칭된 아날로그 처리를 통해 다기능 추론을 실현하며, 외부 메모리 이동 없이도 에너지 효율성을 확보한다. 구체적으로는 서브레인지 다중행 기능 읽기, 재구성 가능한 비트선 및 크로스비트선 처리, 저스윙 충전 공유 계산을 통해 실현된다.

ABSTRACT

This paper describes a multi-functional deep in-memory processor for inference applications. Deep in-memory processing is achieved by embedding pitch-matched low-SNR analog processing into a standard 6T 16KB SRAM array in 65 nm CMOS. Four applications are demonstrated. The prototype achieves up to 5.6X (9.7X estimated for multi-bank scenario) energy savings with negligible (<1%) accuracy degradation in all four applications as compared to the conventional architecture.

연구 동기 및 목표

• 기존 딥 러닝 추론 아키텍처의 높은 에너지 비용과 메모리 대역폭 병목 문제를 해결하기 위해 아날로그 연산을 직접 SRAM 어레이에 통합한다.
• 저장 밀도나 읽기/쓰기 功能를 변경하지 않고도 단일 표준 6T SRAM 어레이 내에서 다기능 추론(내적곱, 맨하탄 거리, 분류)을 가능하게 한다.
• 서브레인지 다중행 기능 읽기와 충전 공유 계산을 활용한 대량 병렬 인메모리 처리를 통해 고에너지 효율성과 고처리량을 달성한다.
• SRAM 어레이 내에서의 현지 아날로그 연산과 읽기 사이클 수 감소를 통해 메모리 액세스 에너지를 절감하면서 정확도 저하를 최소화한다.

제안 방법

• 다중행 기능 읽기(MR-FR)를 수행하기 위해 펄스 폭 변조된 워드라인(PWM-WL) 신호를 사용하여, 단일 프리차지 사이클 내에서 다수의 행에 걸친 가중합 계산을 실현한다.
• 8비트 워드를 4비트 상위비트(MSB)와 4비트 하위비트(LSB)로 분할하여 서브레인지 읽기를 수행하며, 충전 공유(1/16 비율)를 통해 열 피치 제약 조건 내에서도 고해상도 아날로그 계산을 가능하게 한다.
• 아날로그 멀티플렉서와 비교기들을 활용해 비트선 처리(BLP) 및 크로스비트선 처리(CBLP) 단계를 내적곱(DP) 또는 맨하탄 거리(MD) 모드로 재구성 가능하게 한다.
• 병렬 4비트 MSB/LSB 승수기와 함께 순차적 비트 처리를 수행하는 혼합 신호 커패시티브 승수기를 활용해 처리량을 향상시킨다.
• 병렬 프리차지 및 처리를 지원하기 위해 디지털 컨트롤러와 파이ipel라인 아키텍처를 통합하여 1사이클당 128×8비트 워드 액세스를 실현한다.
• 에너지 효율적인 단사피드 ADC를 사용하며, 연속적인 두 개의 CBLP 출력 간 충전 공유를 통해 전력 소모를 감소시킨다.

실험 결과

연구 질문

• RQ1 표준 6T SRAM 어레이를 저장 밀도나 읽기/쓰기 功能를 변경하지 않고도 다기능 딥 인메모리 추론을 수행할 수 있는가?
• RQ2 공정 및 공정 변동 조건 하에서도 피치 매칭과 선형성을 유지하면서 아날로그 연산을 SRAM 비트셀 어레이에 통합할 수 있는가?
• RQ3 SRAM 어레이 내에서의 현지 연산을 통해 읽기 사이클 수를 줄임으로써 에너지 효율성을 얼마나 향상시킬 수 있는가?
• RQ4 65 nm CMOS 공정에서 저스윙 충전 공유 아날로그 계산을 사용할 경우 정확도와 에너지 간의 트레이드오프는 어떠한가?
• RQ5 동일한 하드웨어로 재구성 가능한 처리 단계를 통해 다양한 추론 워크로드(SVM, KNN, 템플릿 매칭 등)를 지원할 수 있는가?

주요 결과

• 프로토타입은 3.4M 결정/초에서 481 pJ/결정의 에너지 효율성을 확보하였으며, 기존 아키텍처 대비 최대 5.6× 에너지 절감과 네 응용 프로그램 전반에서 ≤1% 정확도 손실을 기록하였다.
• 서브레인지 다중행 기능 읽기를 통해 메모리 액세스 에너지가 16× 감소하였으며, 기존의 컬럼 멀티플렉싱 방식의 8×8비트 워드 대비 128×8비트 워드를 한 사이클에 처리함으로써 효율성이 향상되었다.
• 서브레인지 MR-FR의 측정된 최대 INL는 0.03 LSB로, 아날로그-디지털 변환의 높은 선형성을 보장한다.
• DP 모드에서는 최대 오차 크기가 출력 동적 범위의 5.8%이며, MD 모드에서는 8.6%이다.
• 에너지 분석 결과, MR-FR 단계가 에너지 절감에 가장 기여하며, ΔVBL가 20 mV 감소할 때마다 코어 에너지가 0.2 pJ 감소한다.
• 다중 백킷 환경에서 추정된 에너지 절감은 DP 모드에서 최대 9.7×, MD 모드에서 5.4×이며, 컨트롤러 에너지는 뱅크 간에 분산되어 암시적으로 분담된다.