[논문 리뷰] Enabling energy efficient machine learning on a Ultra-Low-Power vision sensor for IoT

Francesco Paissan, M. Gottardi외 1명|arXiv (Cornell University)|2021. 02. 02.

CCD and CMOS Imaging Sensors인용 수 5

한 줄 요약

이 논문은 IoT 애플리케이션에서 초저전력 비전 센서를 위한 실시간, 에너지 효율적인 머신러닝 파이프라인을 제시한다. 하드웨어 수준의 운동 감지 기능을 활용하여 배경 필터링을 구현하고 계산 부담을 줄인다. 시스템은 단지 7.5mW의 전력 소비로 8ms의 추론 지연을 달성하여 자원이 제한된 장치에서도 인식 성능을 훼손하지 않으면서 높은 효율성을 보여준다.

ABSTRACT

The Internet of Things (IoT) and smart city paradigm includes ubiquitous technology to extract context information in order to return useful services to users and citizens. An essential role in this scenario is often played by computer vision applications, requiring the acquisition of images from specific devices. The need for high-end cameras often penalizes this process since they are power-hungry and ask for high computational resources to be processed. Thus, the availability of novel low-power vision sensors, implementing advanced features like in-hardware motion detection, is crucial for computer vision in the IoT domain. Unfortunately, to be highly energy-efficient, these sensors might worsen the perception performance (e.g., resolution, frame rate, color). Therefore, domain-specific pipelines are usually delivered in order to exploit the full potential of these cameras. This paper presents the development, analysis, and embedded implementation of a realtime detection, classification and tracking pipeline able to exploit the full potential of background filtering Smart Vision Sensors (SVS). The power consumption obtained for the inference - which requires 8ms - is 7.5 mW.

연구 동기 및 목표

• 기존 컴퓨터 비전 기술의 에너지 및 계산 부담 문제를 초저전력 비전 센서를 활용하여 해결하기 위해.
• 하드웨어 수준의 운동 감지 기능을 통합한 도메인 특화 파이프라인을 개발하여 스마트 비전 센서(SVS)의 효율성과 성능을 극대화하기 위해.
• 자원이 제한된 하드웨어에서 최소한의 전력 소비로 실시간 감지, 분류, 추적을 가능하게 하기 위해.
• 저전력 센서에서 해상도와 프레임 레이트가 감소함에도 불구하고 높은 인식 성능을 유지할 수 있음을 입증하기 위해.

제안 방법

• 스마트 비전 센서(SVS)의 하드웨어 수준 배경 필터링을 활용하여, 움직이는 객체만 감지함으로써 데이터 대역폭과 처리 부담을 줄이는 파이프라인을 설계하였다.
• 실시간 객체 감지 및 분류 모델을 센서의 내장 프로세서에 직접 구현하여 외부 칩으로의 데이터 전송을 최소화하였다.
• 저전력 추론을 위해 최적화된 경량 신경망을 사용하였으며, 계산 부담을 줄이기 위해 모델 정밀도 조정 및 구조 단순화 기법을 적용하였다.
• 필수적인 처리만을 오프로드하는 이질적 아키텍처에 파이프라인을 통합하여 최소한의 에너지 소비를 확보하였다.
• 프레임당 8ms의 추론 시간을 확보하여 초저전력 플랫폼에서 실시간 성능을 달성하였다.
• 파워 및 지연 측정 결과를 포함하여 SLOHA 2021 워크숍에서 발표된 프로토타입 시스템을 통해 구현 사례를 검증하였다.

실험 결과

연구 질문

• RQ1 실시간 성능을 훼손하지 않으면서 초저전력 비전 센서에 머신러닝을 효율적으로 구현할 수 있는 방법은 무엇인가?
• RQ2 배경 필터링 비전 센서에서 실시간 감지, 분류, 추적 파이프라인의 구현이 달성할 수 있는 전력 효율성은 어느 정도인가?
• RQ3 하드웨어 수준의 운동 감지 기능이 비전 기반 IoT 시스템의 계산 및 에너지 부담을 어느 정도 줄일 수 있는가?
• RQ4 경량 신경망은 저해상도, 저프레임 레이트 센서에서 적절한 인식 정확도를 확보하면서도 초저전력 소비를 유지할 수 있는가?

주요 결과

• 제안된 파이프라인은 프레임당 단지 8ms의 추론 지연을 달성하여 대상 하드웨어에서 실시간 운영이 가능하다.
• 추론 중 시스템은 단지 7.5mW의 전력 소비를 기록하여 비전 기반 IoT 응용 분야에서 놀라운 에너지 효율성을 입증한다.
• 하드웨어 수준의 배경 필터링 기능을 활용함으로써 데이터 처리 부담이 크게 감소하여 저전력 프로세서에서도 효율적인 운영이 가능하다.
• 도메인 특화 최적화 덕분에 센서의 해상도와 프레임 레이트가 감소함에도 불구하고 인식 성능가 유지된다.
• SLOHA 2021 워크숍에서 구현 사례를 검증하고 발표하여 실제 이질적 아키텍처 환경에서의 실현 가능성을 확인하였다.