[논문 리뷰] Millimeter-Scale Ultra-Low-Power Imaging System for Intelligent Edge Monitoring

Andrea Bejarano-Carbó, Hyochan An외 6명|arXiv (Cornell University)|2022. 03. 09.

CCD and CMOS Imaging Sensors인용 수 4

한 줄 요약

이 논문은 초소형(6.7 × 7 × 5 mm)이며 초저전력(ULP) 딥러닝 및 이미지 처리를 탑재한 밀리미터 스케일 영상 시스템을 제안한다. 수직으로 스택된 맞춤형 ULP IC와 동적 전력 관리, 계층적 이벤트 감지, 하이브리드 압축(H.264 + 변화 감지)을 통해, 홈 감시 시나리오에서 평균 전력 소비 49.6 µW, 배터리 수명 7일을 달성한다. 또한, 밀리미터 스케일 렌즈 및 프론트엔드 비이상성으로 인한 영상 왜곡을 보완하기 위해 새로운 영상 보정 신경망을 도입한다.

ABSTRACT

Millimeter-scale embedded sensing systems have unique advantages over larger devices as they are able to capture, analyze, store, and transmit data at the source while being unobtrusive and covert. However, area-constrained systems pose several challenges, including a tight energy budget and peak power, limited data storage, costly wireless communication, and physical integration at a miniature scale. This paper proposes a novel 6.7$ imes$7$ imes$5mm imaging system with deep-learning and image processing capabilities for intelligent edge applications, and is demonstrated in a home-surveillance scenario. The system is implemented by vertically stacking custom ultra-low-power (ULP) ICs and uses techniques such as dynamic behavior-specific power management, hierarchical event detection, and a combination of data compression methods. It demonstrates a new image-correcting neural network that compensates for non-idealities caused by a mm-scale lens and ULP front-end. The system can store 74 frames or offload data wirelessly, consuming 49.6$μ$W on average for an expected battery lifetime of 7 days.

연구 동기 및 목표

• 초소형 시스템을 활용해 장기간에 걸쳐 침해 없이 지능형 모니터링을 가능하게 하기 위해.
• 초강력한 에너지 예산 제약, 제한된 메모리, 높은 비용의 무선 전송, 밀리미터 스케일 시스템 내 비이상적인 영상 문제를 해결하기 위해.
• 크기, 전력, 메모리 제약 속에서 딥러닝 및 이미지 처리 기능을 통합하기 위해.
• 초소형 광학 장치와 ULP 프론트엔드로 인한 영상 왜곡에도 불구하고 높은 DNN 정확도를 유지하기 위해.
• 에너지 효율적인 데이터 관리 및 압축을 통해 단독으로 작동하는 임베디드 비전 시스템을 실현하고, 7일의 배터리 수명을 달성하기 위해.

제안 방법

• 와이어 띠 인터코넥트를 사용해 패ack지화되지 않은 얇은(150 µm) ULP IC를 수직으로 스택하여 면적과 시스템 높이를 최소화한다.
• 행동에 따라 전력 관리를 동적 적용하여 정지 상태 전력 소모를 줄이고 시스템 상태 간 에너지 사용을 최적화한다.
• 계층적 이벤트 감지(HED)를 적용해 운동 또는 이벤트 감지 시에만 처리를 활성화함으로써 불필요한 계산을 줄인다.
• 하이브리드 데이터 압축 기법 적용: 영상에 대해서는 H.264, 데이터 이젝션 에너지 및 시간을 줄이기 위해 변화 감지 기반 압축을 함께 사용한다.
• 밀리미터 스케일 렌즈 및 ULP 프론트엔드로 인한 기하학적 및 색상 왜곡을 보정하기 위해 새로운 영상 보정 신경망 설계.
• 환경 빛 조건에서 수명을 연장하기 위해 에너지 수확 IC 통합으로 재충전 없이 장기간 배치가 가능하도록 한다.

실험 결과

연구 질문

• RQ1 초소형 영상 시스템이 초저전력 제약 조건에서 7일 동안 지속 작동할 수 있는 방법은 무엇인가?
• RQ2 전력 관리, 압축, 영상 보정 기법의 조합 중 어떤 조합이 제약 조건이 심한 밀리미터 스케일 시스템에서 높은 DNN 정확도를 달성하는가?
• RQ3 초소형 광학 장치와 ULP 프론트엔드로 인한 영상 왜곡을 효과적으로 보정하여 DNN 성능을 유지할 수 있는가?
• RQ4 무선 데이터 이젝션의 에너지 및 시간 오버헤드는 얼마이며, 초저전력 시스템에서 이를 최소화할 수 있는가?
• RQ5 계층적 감지 및 동적 전력 스케일링과 같은 시스템 수준 최적화가 단독으로 작동하는 임베디드 비전 시스템의 수명을 얼마나 연장할 수 있는가?

주요 결과

• 시스템은 평균 전력 소비 49.6 µW를 달성하여 운동 트리거 기반 데이터 처리를 통해 연속 작동 시 7일 동안 배터리 수명을 확보한다.
• H.264와 변화 감지 기반 압축의 조합으로 이젝션 에너지가 3.1 mJ로 감소하고 이젝션 시간이 5분으로 단축되어 연속 작동 조건에서 수명이 13배 연장된다.
• 영상 보정 신경망을 통해 밀리미터 스케일 광학 장치와 ULP 프론트엔드로 인한 기하학적 및 색상 왜곡 보정 후 DNN 성능이 기준 수준에 근접하게 복원된다.
• 112×112 픽셀 Grayscale 입력 파이프라인에서 50% 프루닝, 8비트 양자화, 파rameter 압축을 적용해도 사용 가능한 얼굴 감지 정확도를 유지한다.
• 무선 모듈은 256 bps에서 20m, 480 bps에서 15m의 범위를 구현하며, 전송 시간은 각각 106초와 56초로, 실용적인 무선 데이터 오프로드를 가능하게 한다.
• 이미지나 DNN 데이터를 유지하지 않을 경우 시스템 전력 소모는 7.35 µW로 감소하여 48일의 스토리지 수명을 확보하며, 10 klux 조명 조건에서 에너지 수확 기술로 이를 연장할 수 있다.