[논문 리뷰] Low-Power Computer Vision: Status, Challenges, Opportunities

Sergei Alyamkin, Matthew Ardi외 42명|arXiv (Cornell University)|2019. 04. 15.

Advanced Neural Network Applications참고 문헌 25인용 수 5

한 줄 요약

이 논문은 2018년 저전력 이미지 인식 챌린지(LPIRC) 수상자들의 솔루션을 제시하며, 에너지 효율적인 컴퓨터 비전을 위한 시스템 수준 최적화를 분석한다. 2015년에서 2018년 사이에 에너지 효율성(점수)이 24.5배 향상되었으며, 트랙 3는 0.4446 mAP/W-h를 기록했고, 저전력 비전 시스템 분야의 향후 연구 방향을 제시한다.

ABSTRACT

Computer vision has achieved impressive progress in recent years. Meanwhile, mobile phones have become the primary computing platforms for millions of people. In addition to mobile phones, many autonomous systems rely on visual data for making decisions and some of these systems have limited energy (such as unmanned aerial vehicles also called drones and mobile robots). These systems rely on batteries and energy efficiency is critical. This article serves two main purposes: (1) Examine the state-of-the-art for low-power solutions to detect objects in images. Since 2015, the IEEE Annual International Low-Power Image Recognition Challenge (LPIRC) has been held to identify the most energy-efficient computer vision solutions. This article summarizes 2018 winners' solutions. (2) Suggest directions for research as well as opportunities for low-power computer vision.

연구 동기 및 목표

• 스마트폰, 드론, 로봇과 같은 모바일 및 배터리 구동 장치를 위한 에너지 효율적인 컴퓨터 비전 시스템을 평가하고 발전시키기 위해.
• 실시간 객체 탐지에서 에너지 소비를 최소화하면서 정확도를 극대화하는 데 기여하는 시스템 수준의 설계 선택 사항을 규명하기 위해.
• 정확도와 에너지 효율성을 모두 평가 지표로 포함하는 경쟁을 통해 저전력 비전 분야의 혁신을 촉진하기 위해.
• 임베디드 AI를 위한 하드웨are-소프트웨어 공동 설계, 모델 압축, 효율적인 추론 분야에서의 향후 연구 기회를 탐색하기 위해.

제안 방법

• LPIRC 경쟁은 참가자가 HTTP 요청을 통해 심판 서버에 객체 탐지 결과를 제출하는 네트워크 기반 시스템으로, 10분 이내에 20,000장의 이미지를 처리한다.
• 솔루션은 평균 평균 정확도(mAP)를 워트시간(W-h) 단위의 총 에너지 소비량으로 나눈 비율(mAP/W-h)로 평가되며, 높은 정확도와 낮은 전력 소비를 선호한다.
• 수상 팀들은 계산 부담을 줄이기 위해 지식 증류, 양자화, 네트워크 자르기와 같은 모델 압축 기법을 활용했다.
• 하드웨어 플랫폼으로는 CPU, GPU, FPGA, ASIC이 포함되었으며, 팀들은 에너지 효율성의 상호 교환 관계와 저정밀 산술 연산 지원 여부에 따라 플랫폼을 선택했다.
• 시스템 수준 최적화로는 8-bit 이하 정밀도로의 모델 양자화, 더 큰 모델에서의 지식 증류, 효율적인 추론 파이프라인 구현이 포함되었다.
• 경쟁은 세 가지 트랙으로 구성되었으며, 각각 트랙 1(일반), 트랙 2(모바일 최적화), 트랙 3(초저전력)로, 모델 크기와 에너지 예산에 다른 제약 조건이 적용되었다.

실험 결과

연구 질문

• RQ1 모바일 및 임베디드 시스템에서 실시간 객체 탐지에 있어 에너지 효율성을 크게 향상시키는 데 기여하는 시스템 수준의 설계 선택 사항은 무엇인가?
• RQ2 지식 증류와 양자화와 같은 모델 압축 기법을 엄격한 에너지 제약 조건 하에서도 높은 정확도를 유지하는 데 효과적으로 적용하는 방법은 무엇인가?
• RQ3 CPU, GPU, FPGA, ASIC 등의 하드웨어 플랫폼 간에 에너지 효율성, 개발 비용, 구현 유연성 측면에서의 상호 교환 관계는 어떠한가?
• RQ4 에너지, 지연 시간, 정확도를 동시에 최적화하기 위해 소프트웨어와 하드웨어가 어떻게 공동 설계될 수 있는가?
• RQ5 복잡한 시각적 개념인 의도, 감정, 맥락을 이해할 수 있도록 하는 비전 시스템이 저전력 환경에서 어떻게 실현될 수 있을지, 그 과제와 기회는 무엇인가?

주요 결과

• 2018년 LPIRC 트랙 3 수상자는 0.4446 mAP/W-h의 점수를 기록했으며, 이는 2015년 수상자인 0.0182 mAP/W-h보다 24.5배 향상된 것이다.
• 트랙 3에서 가장 뛰어난 성능을 낸 솔루션은 에너지 소비가 단지 0.412 워트시간에 불과하면서도 mAP가 0.18318에 이를 정도로 초저전력 작동을 구현했다.
• 8비트 이하 정밀도로의 모델 양자화 및 지식 증류와 같은 시스템 수준 최적화가 정확도 손실 없이 에너지 소비를 크게 감소시켰다.
• 특히 엄격한 전력 예산 하에서 FPGA 및 ASIC 기반 플랫폼이 일반 목적의 CPU와 GPU보다 뛰어난 에너지 효율성을 보였다.
• 2015년에서 2018년 사이에 에너지 효율성이 24배 이상 향상된 점을 고려할 때, 경쟁이 혁신을 이끌어낸 데서 그 성공이 명확히 드러났다. 이는 ImageNet 벤치마크 수준의 mAP보다 낮은 성능이지만, 에너지 효율성 향상은 빠르게 이루어졌다.
• 초저전력 트랙을 포함한 다양한 트랙의 도입으로 참가 장벽이 낮아졌으며, 머신 러닝 및 임베디드 시스템 분야의 참여가 넓어졌다.