[論文レビュー] Wake Vision: A Tailored Dataset and Benchmark Suite for TinyML Computer Vision Applications

Colby Banbury, Emil Njor+8 more|arXiv (Cornell University)|May 1, 2024

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本稿では、TinyML人間検出のための600万枚を超える画像から構成される大規模かつ多様なデータセット「Wake Vision」を紹介する。これは従来のベンチマーク比100倍以上に及ぶ。細分化されたベンチマークスイートを用いて、照明、距離、人口統計的要因といった要因におけるモデル性能を評価し、遠方検出において入力解像度がモデル幅よりも重要であることが示された。また、int8量子化が頑健性にほとんど影響を及ぼさないことも明らかにした。これにより、より信頼性が高く、プライバシーを守るTinyMLモデルの実現が可能になる。

ABSTRACT

Tiny machine learning (TinyML) for low-power devices lacks systematic methodologies for creating large, high-quality datasets suitable for production-grade systems. We present a novel automated pipeline for generating binary classification datasets that addresses this critical gap through several algorithmic innovations: intelligent multi-source label fusion, confidence-aware filtering, automated label correction, and systematic fine-grained benchmark generation. Crucially, automation is not merely convenient but necessary to cope with TinyML's diverse applications. TinyML requires bespoke datasets tailored to specific deployment constraints and use cases, making manual approaches prohibitively expensive and impractical for widespread adoption. Using our pipeline, we create Wake Vision, a large-scale binary classification dataset of almost 6 million images that demonstrates our methodology through person detection--the canonical vision task for TinyML. Wake Vision achieves up to a 6.6% accuracy improvement over existing datasets via a carefully designed two-stage training strategy and provides 100x more images. We demonstrate our broad applicability for automated large-scale TinyML dataset generation across two additional target categories, and show our label error rates are substantially lower than prior work. Our comprehensive fine-grained benchmark suite evaluates model robustness across five critical dimensions, revealing failure modes masked by aggregate metrics. To ensure continuous improvement, we establish ongoing community engagement through competitions hosted by the Edge AI Foundation. All datasets, benchmarks, and code are available under CC-BY 4.0 license, providing a systematic foundation for advancing TinyML research.

研究の動機と目的

• TinyML用に大規模かつ高品質なデータセットが不足している問題に対処するため、既存のベンチマークの代替として、スケーラブルで許可の柔軟なライセンスを備えたデータセットを構築すること。
• 低照度、距離、人口統計的変動といった困難な状況を想定した細分化されたベンチマークを導入することで、実世界での展開におけるモデルの頑健性と公平性を向上させること。
• 量子化やグレースケール入力といった一般的なTinyML最適化手法が、多様なデータサブセットにおけるモデル性能に与える影響を評価すること。
• 高い精度と最小限のデータ漏洩に抑えることで、オンデバイス推論を支援するより信頼性が高く、プライバシーを守るTinyMLシステムの実現を可能にすること。

提案手法

• Wake VisionデータセットはOpen Images v7から構築され、品質のフィルタリングと拡張を経て600万枚を超える画像を含む。2つのトレーニングバリアントを用意：「Large」（サイズ最大化）と「Quality」（ラベル精度最大化）。
• 5つの細分化されたテストセットからなるベンチマークスイートを構築。それぞれが特定の条件に焦点を当てている：距離、照明（暗い、通常、明るい）、人口統計的属性（外見上の年齢および性別）、画像表現スタイル。
• 標準的なTinyMLパイプラインを用いてモデルをトレーニングおよび評価。MobileNetV2とint8量子化を含み、性能はすべてのベンチマークにおけるF1スコアで測定。
• ケーススタディとして、入力解像度、モデル幅、グレースケール変換が、特に困難な状況下でのモデルの頑健性に与える影響を評価。
• データセットとベンチマークはCC-BY 4.0ライセンスで公開され、商用および研究利用が可能で、完全な再現性が保証される。

(a) An example of a person far away

実験結果

リサーチクエスチョン

• RQ1 60,000枚程度から600万枚を超える規模に拡大させることで、TinyMLモデルの人物検出精度にどのような影響が生じるか？
• RQ2 細分化されたベンチマークが、低照度や遠方の被写体といった実世界の状況における性能格差をどの程度明らかにできるか？
• RQ3 int8量子化が、代表されにくい人口統計的および環境的サブセットにおいて、モデルの頑健性にどのように影響するか？
• RQ4 グレースケール入力は明るい照明条件下でモデル性能を著しく低下させるか？また、照明ベンチマークごとの差異はどのように現れるか？

主な発見

• Wake Visionは、従来の最先端ベンチマークVWW比で2.41%の精度向上を達成し、規模と品質の恩恵を実証した。
• 遠方の被写体を検出する際、入力解像度の影響がモデル幅の影響を上回ることを示し、TinyMLにおける重要な設計的トレードオフを浮き彫りにした。
• int8量子化はすべてのベンチマークでわずかな性能低下（±0.004 F1）に留まり、困難な状況下でも頑健であることが示された。
• グレースケール入力は明るい照明条件下での感受性を高め、RGBと比較して「明るい」照明ベンチマークでより顕著な性能低下を示した。
• 「Quality」トレーニングセットが「Large」セットを上回る性能を示し、TinyMLにおいてデータ品質が単なる量よりも重要であることを裏付けた。

(b) An example of a depicted person