[논문 리뷰] Ultra-Efficient On-Device Object Detection on AI-Integrated Smart Glasses with TinyissimoYOLO

Julian Moosmann, Pietro Bonazzi외 5명|arXiv (Cornell University)|2023. 11. 02.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 AI 통합 스마트 안경에서 초효율적인 현장 내 객체 검출을 위해 최적화된 100만 파라미터 미만의 YOLO 기반 신경망인 TinyissimoYOLO를 제안한다. GAP9 RISC-V 프로세서에서 실행 시 18 FPS를 달성하며 종합 지연 시간은 56ms, 전력 소비는 62.9mW로, 154mAh 배터리로 최대 9.3시간의 연속 작동이 가능하여 유사 하드웨어에서 이전 연구를 능가한다.

ABSTRACT

Smart glasses are rapidly gaining advanced functions thanks to cutting-edge computing technologies, especially accelerated hardware architectures, and tiny Artificial Intelligence (AI) algorithms. However, integrating AI into smart glasses featuring a small form factor and limited battery capacity remains challenging for a satisfactory user experience. To this end, this paper proposes the design of a smart glasses platform for always-on on-device object detection with an all-day battery lifetime. The proposed platform is based on GAP9, a novel multi-core RISC-V processor from Greenwaves Technologies. Additionally, a family of sub-million parameter TinyissimoYOLO networks are proposed. They are benchmarked on established datasets, capable of differentiating up to 80 classes on MS-COCO. Evaluations on the smart glasses prototype demonstrate TinyissimoYOLO's inference latency of only 17ms and consuming 1.59mJ energy per inference. An end-to-end latency of 56ms is achieved which is equivalent to 18 frames per seconds (FPS) with a total power consumption of 62.9mW. This ensures continuous system runtime of up to 9.3 hours on a 154mAh battery. These results outperform MCUNet (TinyNAS+TinyEngine), which runs a simpler task (image classification) at just 7.3 FPS, while the 18 FPS achieved in this paper even include image-capturing, network inference, and detection post-processing. The algorithm's code is released open with this paper and can be found here: https://github.com/ETH-PBL/TinyissimoYOLO

연구 동기 및 목표

• 최소한의 전력 소비와 긴 배터리 수명을 바탕으로 스마트 안경에서 항상 케이블링된 현장 내 객체 검출을 가능하게 하기 위해.
• 소형 포맷의 배터리로 구동되는 자원 제약이 심한 웨어러블 디바이스에 복잡한 AI 모델을 구현하는 과제를 해결하기 위해.
• RISC-V 기반 시스템에서 초저전력 엣지 추론을 위해 특화된 매우 효율적인 신경망 아키텍처를 설계하기 위해.
• 엄격한 에너지 예산 내에서 이미지 캡처, 추론, 후처리를 모두 통합하면서 실시간 성능(18 FPS)을 달성하기 위해.
• 스마트 안경을 위한 하드웨어, 모델 아키텍처, 소프트웨어 스택을 공동 최적화하여 종단 간 시스템 효율성을 입증하기 위해.

제안 방법

• 에지 배포를 위해 특별히 설계된 100만 파라미터 미만의 작고 효율적인 YOLO 기반 모델인 TinyissimoYOLO를 제안한다.
• 정확도를 유지하면서 모델 크기와 계산 비용을 최소화하기 위해 신경망 아키텍처 탐색 및 모델 압축 기법을 활용한다.
• TinyissimoYOLO 모델을 GAP9 다중 코어 RISC-V 프로세서에 통합하여 초저전력 기능을 활용한 현장 내 추론을 실현한다.
• 종합 지연 시간 예산 56ms 내에서 이미지 수집, 모델 추론, 후처리를 포함한 전체 추론 파이프라인을 최적화한다.
• 동적 및 정적 전력 소비를 줄이기 위해 에너지 인식 모델 양자화 및 하드웨어 인식 모델 컴파일 기법을 사용한다.
• MS-COCO 데이터셋을 사용하여 실제 스마트 안경 프로토타입에서 시스템을 검증하여 80개 클래스의 객체 검출을 1.59mJ의 추론 에너지로 달성했다.

실험 결과

연구 질문

• RQ1 100만 파라미터 미만의 YOLO 기반 모델이 초저전력 소비 조건에서 스마트 안경 플랫폼에서 실시간 객체 검출(≥18 FPS)을 달성할 수 있는가?
• RQ2 유사한 하드웨어에서 기존 엣지 AI 솔루션과 비교해 종단 간 시스템 지연 시간과 에너지 효율성은 어떻게 되는가?
• RQ3 모델 압축 및 하드웨어 인식 신경망 아키텍처 탐색을 통해 모델 크기와 추론 에너지를 얼마나 줄일 수 있으며, 이 과정에서 검출 정확도를 손상시키지 않을 수 있는가?
• RQ4 이미지 캡처, 추론, 후처리를 포함한 전체 파이프라인이 154mAh 배터리에서 56ms 이내에 수행되어 9.3시간의 연속 작동이 가능한가?
• RQ5 실제 스마트 안경 프로토타입에 배포된 TinyissimoYOLO가 MS-COCO 데이터셋에서 달성 가능한 정확도와 추론 속도는 얼마인가?

주요 결과

• TinyissimoYOLO는 스마트 안경 프로토타입에서 종합 지연 시간 56ms로 18 FPS를 달성하여 실시간 객체 검출을 가능하게 한다.
• 시스템은 총 전력 소비가 단지 62.9mW에 불과하여 154mAh 배터리로 최대 9.3시간의 연속 작동이 가능하다.
• 각 추론은 단지 1.59mJ의 에너지만 소비하여 현장 내 객체 검출 분야에서 뛰어난 에너지 효율성을 입증한다.
• 모델은 MS-COCO 데이터셋에서 최대 80개의 객체 클래스를 지원하며, 작고 가벼운 크기임에도 불구하고 높은 정확도를 유지한다.
• 이전의 MCUNet(7.3 FPS로 이미지 분류를 수행)보다 더 높은 프레임 레이트를 달성하면서도 더 복잡한 작업(후처리 포함)을 수행함으로써 성능 면에서 뛰어나다.
• 모델 코드의 오픈소스 배포로 재현 가능성과 엣지 AI 연구 분야의 향후 최적화를 가능하게 한다.