[논문 리뷰] PISA: A Binary-Weight Processing-In-Sensor Accelerator for Edge Image Processing

Shaahin Angizi, Sepehr Tabrizchi외 1명|arXiv (Cornell University)|2022. 02. 18.

Advanced Memory and Neural Computing인용 수 11

한 줄 요약

PISA는 비휘발성 메모리(NVM) 기반의 계산 픽셀을 사용해 이진화된 가중치를 가진 신경망(BWNNs)의 첫 번째 레이어에서 코arse-grained 컨볼루션을 센서에서 수행하는 프로세싱-인-센서(PIS) 가속기로, 데이터 변환 및 전송 에너지를 극적으로 감소시킨다. CPU-센서 기반 기준 대비 에너지 소비를 84% 감소시키며, 1000 FPS의 성능과 1.74 TOp/s/W의 에너지 효율을 달성한다.

ABSTRACT

This work proposes a Processing-In-Sensor Accelerator, namely PISA, as a flexible, energy-efficient, and high-performance solution for real-time and smart image processing in AI devices. PISA intrinsically implements a coarse-grained convolution operation in Binarized-Weight Neural Networks (BWNNs) leveraging a novel compute-pixel with non-volatile weight storage at the sensor side. This remarkably reduces the power consumption of data conversion and transmission to an off-chip processor. The design is completed with a bit-wise near-sensor processing-in-DRAM computing unit to process the remaining network layers. Once the object is detected, PISA switches to typical sensing mode to capture the image for a fine-grained convolution using only the near-sensor processing unit. Our circuit-to-application co-simulation results on a BWNN acceleration demonstrate acceptable accuracy on various image datasets in coarse-grained evaluation compared to baseline BWNN models, while PISA achieves a frame rate of 1000 and efficiency of ~1.74 TOp/s/W. Lastly, PISA substantially reduces data conversion and transmission energy by ~84% compared to a baseline CPU-sensor design.

연구 동기 및 목표

• 엣지 AI 비전 시스템에서 데이터 변환 및 전송의 높은 에너지 비용 문제를 해결하기 위해 계산을 센서에 가까이 이동시키기.
• 특히 전력과 메모리 월 병목 현상으로 인해 제한되는 전통적인 바르너-뉴먼 아키텍처의 한계를 극복하기.
• 저지연, 고-throughput 설계를 통해 엣지 AI 및 IoT 장치에서 실시간이고 에너지 효율적인 이미지 처리를 가능하게 하기.
• 최적의 성능과 에너지 효율을 확보하기 위해 인-센서 코arse-grained 처리와 근접-센서 피그먼트-그레인드 처리를 융합한 하이브리드 PIS-PNS 아키텍처 도입하기.
• 에너지 수확 시스템에서 끊김 없는 전원 환경을 고려해 비휘발성 메모리를 활용해 즉각적인 웨이크업과 낮은 스탠바이 전력 소비를 확보하기.

제안 방법

• 이진화된 가중치를 저장하고 ADC 변환 이전의 포토-전류에서 직접 비트 단위 컨볼루션을 수행할 수 있도록 내장된 비휘발성 메모리(NVM)를 탑재한 새로운 계산 픽셀 설계.
• 이중 모드 작동: BWNNs의 첫 번째 레이어에 대해 인-센서 처리를 수행하고, 객체가 감지되면 표준 센싱 모드로 전환하여 피그먼트-그레인드 처리 수행.
• 이중 행 활성화 기법을 통해 DRAM 셀의 전하 공유를 활용해, 후속 네트워크 레이어에 대해 비트 단위의 근접-센서 DRAM 내 처리(PIM)를 구현.
• 65nm 공정 기반으로 회로 수준에서부터 애플리케이션 수준까지 전체 시스템을 공동 시뮬레이션하며, PISA를 MNIST, SVHN, CIFAR-10에서 훈련된 BWNNs와 통합.
• 초기 인-센서 특징 추출을 통해 외부 메모리로의 데이터 이동을 최소화하고 중복 전송을 제거함으로써 에너지 효율 최적화.
• 센싱 정밀도를 유지하면서도 동적 전환 기능을 갖춘 재구성 가능하고 프로그래밍 가능한 설계를 통해 센싱 및 처리 모드 간 전환 지원.

실험 결과

연구 질문

• RQ1 이진화된 가중치를 사용한 인-센서 처리가 엣지 AI 비전 시스템에서 데이터 변환 및 전송 에너지를 크게 감소시킬 수 있는가?
• RQ2 계산 픽셀에 비휘발성 메모리(NVM)를 통합함으로써 저전력 엣지 장치의 에너지 효율성과 전원 장애에 대한 내성은 어떻게 향상되는가?
• RQ3 하이브리드 PIS-PNS 아키텍처는 실시간 이미지 처리에서 초고속 처리와 저지연을 유지하면서도 높은 정확도를 확보할 수 있는가?
• RQ4 기존의 MAC 기반 설계와 비교해 PIS 아키텍처에서 비트 단위 연산을 사용할 경우 성능와 에너지 효율성 간의 상호 보완적 트레이드오프는 어떠한가?
• RQ5 PISA 설계는 MNIST, SVHN, CIFAR-10와 같은 다양한 이미지 데이터셋에서 정확도와 효율성 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• PISA는 이미지 처리 작업에서 1000 FPS의 프레임 레이트를 달성하여 엣지 AI 응용 분야에서 실시간 성능을 입증한다.
• 가속기는 1.74 TOp/s/W의 에너지 효율을 제공하며, 기존 CPU-센서 기반 시스템 대비 뚜렷한 에너지 효율성 향상을 보인다.
• CPU-센서 기반 기준 대비 데이터 변환 및 전송 에너지를 약 84% 감소시켰으며, 주로 외부 메모리로의 데이터 이동을 제거함으로써 달성되었다.
• MNIST, SVHN, CIFAR-10 데이터셋에서 각각 95.12%, 90.35%, 79.80%의 분류 정확도를 확보하여 BWNNs에 대해 수용 가능한 정확도를 보였다.
• 계산 픽셀은 65nm 공정에서 55×55 µm²의 면적을 차지하며, 회로 수준 시뮬레이션 결과 기존의 SRAM 기반 설계(MACSen) 대비 40% 낮은 전력 소비를 보였다.
• NVM의 사용으로 즉각적인 웨이크업과 낮은 스탠바이 전력 소비가 가능해져 에너지 수확 시스템에서 흔한 간헐적 전원 환경에서도 내성 향상이 가능했다.