[논문 리뷰] Wake Vision: A Tailored Dataset and Benchmark Suite for TinyML Computer Vision Applications

Colby Banbury, Emil Njor외 8명|arXiv (Cornell University)|2024. 05. 01.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 600만 장 이상의 이미지를 포함한 대규모이고 다양한 종류의 데이터셋인 Wake Vision을 소개한다. 이는 기존 기준보다 100배 이상 큰 데이터셋으로, TinyML 인물 검출을 위한 것이다. 이 데이터셋에는 조명, 거리, 인구 통계적 요소 등 다양한 조건에서 모델 성능을 평가할 수 있는 세분화된 벤치마크 세트가 포함되어 있으며, 이는 입력 해상도가 먼 거리에서의 검출 성능에 모델의 너비보다 더 중요한 영향을 미친다는 점과, int8 양자화가 정확도에 거의 영향을 주지 않는다는 점을 입증한다. 이는 더 신뢰할 수 있고 프라이버시를 보호하는 TinyML 모델을 가능하게 한다.

ABSTRACT

Tiny machine learning (TinyML) for low-power devices lacks systematic methodologies for creating large, high-quality datasets suitable for production-grade systems. We present a novel automated pipeline for generating binary classification datasets that addresses this critical gap through several algorithmic innovations: intelligent multi-source label fusion, confidence-aware filtering, automated label correction, and systematic fine-grained benchmark generation. Crucially, automation is not merely convenient but necessary to cope with TinyML's diverse applications. TinyML requires bespoke datasets tailored to specific deployment constraints and use cases, making manual approaches prohibitively expensive and impractical for widespread adoption. Using our pipeline, we create Wake Vision, a large-scale binary classification dataset of almost 6 million images that demonstrates our methodology through person detection--the canonical vision task for TinyML. Wake Vision achieves up to a 6.6% accuracy improvement over existing datasets via a carefully designed two-stage training strategy and provides 100x more images. We demonstrate our broad applicability for automated large-scale TinyML dataset generation across two additional target categories, and show our label error rates are substantially lower than prior work. Our comprehensive fine-grained benchmark suite evaluates model robustness across five critical dimensions, revealing failure modes masked by aggregate metrics. To ensure continuous improvement, we establish ongoing community engagement through competitions hosted by the Edge AI Foundation. All datasets, benchmarks, and code are available under CC-BY 4.0 license, providing a systematic foundation for advancing TinyML research.

연구 동기 및 목표

• 기존 기준보다 더 큰 규모이자 고품질인 데이터셋의 부족 문제를 해결하기 위해, 기존 벤치마크의 확장 가능한, 자유 라이선스를 적용한 대체 자료를 제공하는 것.
• 저조도, 거리, 인구 통계적 다양성과 같은 도전적인 조건에서의 성능 격차를 드러내기 위해 세분화된 벤치마크를 도입함으로써, 실생활 배포에서 모델의 강인성과 공정성을 향상시키는 것.
• 일반적인 TinyML 최적화 기법(예: 양자화, 회색조 입력)이 다양한 데이터 서브셋에서 모델 성능에 미치는 영향을 평가하는 것.
• 높은 정확도와 최소한의 데이터 泄露를 보장하는 현장 내 추론을 지원함으로써, 더 신뢰할 수 있고 프라이버시를 보호하는 TinyML 시스템을 가능하게 하는 것.

제안 방법

• Wake Vision 데이터셋은 Open Images v7에서 유래하였으며, 품질 기준에 따라 필터링되고 600만 장 이상으로 확장되었다. 두 가지 트레이닝 버전이 존재한다: 'Large'(크기를 극대화)와 'Quality'(라벨 정확도를 극대화).
• 다섯 개의 세분화된 테스트 세트로 구성된 벤치마크 세트가 제작되었으며, 각 세트는 특정 조건에 집중한다: 거리, 조명(어두움, 정상, 밝음), 인구 통계적 특성(예상 연령 및 성별), 그리고 이미지 표현 스타일.
• 표준 TinyML 파ip라인을 사용하여 데이터셋에서 모델을 학습하고 평가하였으며, MobileNetV2와 int8 양자화를 포함한다. 성능은 모든 벤치마크에서 F1 점수로 측정된다.
• 사례 연구를 통해 입력 해상도, 모델 너비, 회색조 변환의 영향을 분석하였으며, 특히 도전적인 상황에서의 모델 강인성에 초점을 맞췄다.
• 데이터셋과 벤치마크는 CC-BY 4.0 라이선스 하에 공개되어 있으며, 상업적 및 연구적 사용이 가능하고 완전한 재현성이 보장된다.

(a) An example of a person far away

실험 결과

연구 질문

• RQ1 약 6만 장에서 600만 장 이상으로 데이터셋 규모를 증가시킬 경우, 인물 검출에 대한 TinyML 모델 정확도에 어떤 영향을 미치는가?
• RQ2 세분화된 벤치마크는 저조도나 먼 거리의 대상과 같은 실생활 조건에서의 성능 격차를 어느 정도 드러내는가?
• RQ3 int8 양자화는 인구 통계적, 환경적 서브셋에서 모델 강인성에 어떤 영향을 미치는가?
• RQ4 회색조 입력은 밝은 조명 조건에서 모델 성능을 상당히 떨어뜨리는가? 그리고 이는 조명 벤치마크 간에 어떻게 달라지는가?

주요 결과

• Wake Vision은 기존 최고 수준의 VWW 벤치마크 대비 모델 정확도를 2.41% 향상시켰으며, 규모와 품질의 이점이 입증되었다.
• 입력 해상도는 모델 너비보다 먼 거리에서의 검출 성능에 더 큰 영향을 미친다. 이는 TinyML 설계에서 중요한 트레이드오프임을 시사한다.
• int8 양자화는 모든 벤치마크에서 성능 저하가 극히 미미하다(±0.004 F1), 도전적인 조건에서도 강인함을 보여준다.
• 회색조 입력은 밝은 조명 조건에 민감도를 높이며, RGB 대비 '밝음' 조명 벤치마크에서 성능 저하가 더 두드러진다.
• 'Quality' 트레이닝 세트는 'Large' 세트를 능가하며, 이는 TinyML에서 데이터 품질이 단순한 양보다 더 중요하다는 점을 입증한다.

(b) An example of a depicted person