[논문 리뷰] Visual Wake Words Dataset

Aakanksha Chowdhery, Pete Warden외 3명|arXiv (Cornell University)|2019. 06. 12.

IoT and Edge/Fog Computing참고 문헌 26인용 수 84

한 줄 요약

이 논문은 COCO에서 파생된 이진 사람 여부 데이터셋인 Visual Wake Words를 도입하여 초소형 비전 모델을 마이크로컨트롤러 메모리 제약 하에서 벤치마크하고, 250 KB 메모리 내에서 85–90% 정확도 및 60M 곱셈-덧셈 미만을 달성합니다. 또한 메모리-지연 트레이드오프를 분석하고 엣지 AI 배치를 위한 MobileNet 변형을 벤치마크합니다.

ABSTRACT

The emergence of Internet of Things (IoT) applications requires intelligence on the edge. Microcontrollers provide a low-cost compute platform to deploy intelligent IoT applications using machine learning at scale, but have extremely limited on-chip memory and compute capability. To deploy computer vision on such devices, we need tiny vision models that fit within a few hundred kilobytes of memory footprint in terms of peak usage and model size on device storage. To facilitate the development of microcontroller friendly models, we present a new dataset, Visual Wake Words, that represents a common microcontroller vision use-case of identifying whether a person is present in the image or not, and provides a realistic benchmark for tiny vision models. Within a limited memory footprint of 250 KB, several state-of-the-art mobile models achieve accuracy of 85-90% on the Visual Wake Words dataset. We anticipate the proposed dataset will advance the research on tiny vision models that can push the pareto-optimal boundary in terms of accuracy versus memory usage for microcontroller applications.

연구 동기 및 목표

• 극단적인 메모리 제약을 가진 마이크로컨트롤러에서 온-디바이스 비전의 필요성을 촉구한다.
• COCO에서 파생된 현실적인 이진 클래스 벤치마크로 Visual Wake Words를 제안한다.
• 에지 디바이스에서 작은 CNN의 메모리, 대기시간, 모델 크기 간의 트레이드오프를 특성화한다.
• 250 KB 플래시/ SRAM 한계 및 추론당 60M MACs 하에서 최신 모바일 모델의 벤치마크를 수행한다.

제안 방법

• tiny vision 모델의 설계 제약 정의: 최대 250 KB 피크 메모리 및 추론당 최대 60M MACs.
• COCO 이미지에 바운딩 박스 면적이 0.5% 이상인 경우 사람/비사람으로 레이블링하여 Visual Wake Words 데이터셋을 생성한다.
• 8비트 가중치/활성화로 MobileNet V1/V2, MNasNet, ShuffleNet을 학습 및 양자화한다.
• ImageNet 및 Visual Wake Words 데이터셋에서 정확도 대 피크 메모리, 파라미터 수, MACs를 평가한다.
• MobileNet V2 및 MNasNet의 SRAM 제약에 맞추기 위한 메모리 관리 기법을 조사한다.

실험 결과

연구 질문

• RQ1 250 KB 메모리와 60M MACs 내에서 Visual Wake Words에 대해 작은 비전 모델이 달성할 수 있는 정확도는?
• RQ2 이미지 해상도와 깊이 배수에 따라 엣지 제약에서 모델 크기, 피크 메모리, 컴퓨트가 어떻게 스케일하는가?
• RQ3 마이크로컨트롤러 하드웨어로 제약될 때 모바일 아키텍처의 잔차 및 병렬 경로에서 어떤 메모리-지연 트레이드오프가 발생하는가?
• RQ4 8비트 양자화가 마이크로컨트롤러에서 사람/비사람 이진 분류에 대해 경쟁력 있는 성능을 가능하게 하는가?

주요 결과

• Visual Wake Words는 250 KB 메모리 한계 내에서 최첨단 모바일 모델로 85–90%의 정확도를 가능하게 한다.
• MobileNet V1/V2, MNasNet, ShuffleNet은 Visual Wake Words에서 높은 정확도를 달성하면서 250 KB 플래시 저장공간 내에 적합하다.
• 피크 메모리 사용량은 종종 초기 계층의 활성 맵에 의해 지배되며 병렬 경로를 위한 메모리 절약 전략이 필요하다.
• 이미지 해상도를 줄이면 피크 메모리와 MACs가 감소하지만 정확도가 제약될 수 있으며, 트레이드오프는 아키텍처와 깊이 배수에 따라 다르다.
• 양자화-민감 학습으로 8비트 양자화는 이 이진 작업에 대해 경쟁력 있는 정확도를 가능하게 한다.
• ImageNet에서 동일한 모델은 상위1 정확도가 더 낮아 Visual Wake Words 데이터셋이 초소형 비전 모델에 대한 뚜렷한 파레토 프런티어를 제공함을 보여준다.