[논문 리뷰] AnalogNet: Convolutional Neural Network Inference on Analog Focal Plane Sensor Processors

Matthew Z. Wong, Benoît Guillard외 3명|arXiv (Cornell University)|2020. 06. 02.

CCD and CMOS Imaging Sensors인용 수 8

한 줄 요약

AnalogNet는 센서 칩 상에서 직접 계산을 수행함으로써 고속·저에너지 이미지 처리를 가능하게 하는 아날로그 초점면 센서 프로세서(FPSP)를 위한 새로운 CNN 추론 프레임워크를 제안한다. 아날로그 계산 노이즈에 강건한 맞춤형 훈련 방법을 사용하여 MNIST에서 96.9%의 정확도를 달성했으며, 1프레임당 0.7 mJ의 에너지 소비로 2260 FPS의 속도를 기록했다.

ABSTRACT

We present a high-speed, energy-efficient Convolutional Neural Network (CNN) architecture utilising the capabilities of a unique class of devices known as analog Focal Plane Sensor Processors (FPSP), in which the sensor and the processor are embedded together on the same silicon chip. Unlike traditional vision systems, where the sensor array sends collected data to a separate processor for processing, FPSPs allow data to be processed on the imaging device itself. This unique architecture enables ultra-fast image processing and high energy efficiency, at the expense of limited processing resources and approximate computations. In this work, we show how to convert standard CNNs to FPSP code, and demonstrate a method of training networks to increase their robustness to analog computation errors. Our proposed architecture, coined AnalogNet, reaches a testing accuracy of 96.9% on the MNIST handwritten digits recognition task, at a speed of 2260 FPS, for a cost of 0.7 mJ per frame.

연구 동기 및 목표

• 센서와 프로세서를 동일한 칩에 통합한 아날로그 초점면 센서 프로세서(FPSP)에서 효율적이고 정확한 CNN 추론을 가능하게 하기.
• 딥러닝 워크로드를 위한 FPSP에서 흔히 발생하는 제한된 메모리와 노이즈가 많은 아날로그 계산의 과제를 해결하기.
• 아날로그 계산의 근사성에 대응할 수 있도록 네트워크의 강건성을 향상시키는 훈련 방법론을 개발하기.
• 표준 벤치마크(MNIST)를 사용하여 실제 하드웨어에서 고프레임레이트·저에너지 추론을 구현하기.

제안 방법

• 아날로그 계산 오차에 대한 강건성을 향상시키기 위해 노이즈 모델링을 통합한 맞춤형 훈련 프로세스 설계.
• SCAMP-5 FPSP에서 최적화된 데이터플로우와 계산 스케줄링을 사용하여 표준 CNN 레이어를 FPSP 호환 코드로 매핑.
• SCAMP-5 FPSP의 256×256개의 처리 요소(PE) 어레이를 활용해 이미지 데이터를 현장에서 병렬 아날로그 계산 수행.
• 제한된 메모리와 신호 퇴화의 특성에 맞춰 최적화된 단일 컨볼루션 레이어 CNN 아키텍처 설계.
• 아날로그 하드웨어 정확도 부족에 대응하기 위해 노이즈 인식 가중치 양자화와 확률적 훈련 기법 적용.
• 데이터 이동 최소화와 포커스 평면 처리 모델 활용을 통한 추론 최적화로 에너지 소비 감소.

실험 결과

연구 질문

• RQ1 제한된 메모리와 노이즈가 많은 아날로그 산술을 특징으로 하는 FPSP에 표준 CNN을 효과적으로 매핑할 수 있는가?
• RQ2 FPSP 기반 추론에서 아날로그 계산 오차에 대응하기 위해 훈련 절차를 어떻게 개선할 수 있는가?
• RQ3 디지털 프로세서와 비교했을 때 포커스 평면에서 직접 CNN 추론을 수행할 경우 어떤 성능 향상과 에너지 효율성 향상이 달성되는가?
• RQ4 다중 레이어 계산에서 발생하는 데이터 손실과 희소성은 현재 FPSP 하드웨어에서 CNN의 확장성에 얼마나 큰 영향을 미치는가?
• RQ5 FPSP는 임베디드 및 로봇 애플리케이션에 적합한 실시간·저전력 추론을 달성할 수 있는가?

주요 결과

• AnalogNet는 SCAMP-5 FPSP에서 단일 컨볼루션 레이어 CNN을 사용하여 MNIST 데이터셋에서 96.9%의 테스트 정확도를 달성했다.
• 시스템은 2260 FPS의 프레임 레이트를 기록하여 CPU, GPU, VPU에 비해 추론 속도와 에너지 효율성 면에서 뚜렷한 우수성을 보였다.
• SCAMP-5에서 프레임당 에너지 소비는 단지 0.7 mJ로 측정되었으며, 이는 모든 처리 및 데이터 관리 작업을 포함한 것으로, CPU, GPU, VPU 시스템보다 더 효율적이었다.
• FPSP의 전체 에너지 비용은 CPU, GPU, VPU의 보수적인 하한선보다 낮았으며, 이 하한선은 이미지 캡처 및 데이터 전송 에너지를 포함하지 않았다.
• 반복적인 아날로그 연산(예: 나눗셈 및 곱셈)에서 발생하는 노이즈로 인해 신호 퇴화와 분산 증가가 발생했으며, 테스트 케이스에서 표준편차는 약 2에서 약 6.3으로 증가했다.
• 이 연구는 현재 FPSP 하드웨어에서 단일 컨볼루션 레이어를 초월한 CNN 확장에 있어 데이터 손실과 풀링으로 인한 공간적 희소성이 근본적인 과제로 규명되었다.