[論文レビュー] Low-Power Computer Vision: Status, Challenges, Opportunities

Sergei Alyamkin, Matthew Ardi+42 more|arXiv (Cornell University)|Apr 15, 2019

Advanced Neural Network Applications参考文献 25被引用数 5

ひとこと要約

本論文は、2018年低消費電力画像認識チャレンジ（LPIRC）の優勝者たちのソリューションを提示し、エネルギー効率の高いコンピュータビジョンのためのシステムレベル最適化を分析している。2015年から2018年にかけてエネルギー効率（スコア）が24.5倍向上し、トラック3では0.4446 mAP/W-hを達成した。また、低消費電力ビジョンシステム分野における今後の研究方向性も提示している。

ABSTRACT

Computer vision has achieved impressive progress in recent years. Meanwhile, mobile phones have become the primary computing platforms for millions of people. In addition to mobile phones, many autonomous systems rely on visual data for making decisions and some of these systems have limited energy (such as unmanned aerial vehicles also called drones and mobile robots). These systems rely on batteries and energy efficiency is critical. This article serves two main purposes: (1) Examine the state-of-the-art for low-power solutions to detect objects in images. Since 2015, the IEEE Annual International Low-Power Image Recognition Challenge (LPIRC) has been held to identify the most energy-efficient computer vision solutions. This article summarizes 2018 winners' solutions. (2) Suggest directions for research as well as opportunities for low-power computer vision.

研究の動機と目的

• スマートフォン、ドローン、ロボットなどのモバイルおよびバッテリー駆動デバイスにおけるエネルギー効率の高いコンピュータビジョンシステムを評価し、前進させること。
• リアルタイムオブジェクト検出において、正確性を最大限に保ちながらエネルギー消費を最小限に抑えるシステムレベルの設計選択を特定すること。
• 精度とエネルギー効率の両方をスコアリング指標として統合した年次コンペティションを通じて、低消費電力ビジョン分野におけるイノベーションを促進すること。
• ハードウェア・ソフトウェア共同設計、モデル圧縮、および埋め込みAIのための効率的推論に関する今後の研究機会を探索すること。

提案手法

• LPIRCコンペティションは、参加者がHTTPリクエストでレフェリー・サーバーにオブジェクト検出結果を提出するネットワークベースのシステムであり、10分間で20,000枚の画像を処理する。
• スコアは、平均平均精度（mAP）をワットアワー単位の総消費エネルギーで割った比（mAP/W-h）で評価され、高精度かつ低消費電力なソリューションが優遇される。
• 優勝チームは、計算負荷を低減するため、知識蒸留、量子化、ネットワークプルーニングなどのモデル圧縮技術を採用した。
• ハードウェアプラットフォームにはCPU、GPU、FPGA、ASICが含まれ、チームはエネルギー効率のトレードオフと低精度算術演算のサポートを考慮してプラットフォームを選択した。
• システムレベルの最適化には、8ビット以下へのモデル量子化、より大きなモデルからのモデル蒸留、および効率的な推論パイプラインが含まれる。
• コンペティションは3つのトラックで構成された：トラック1（一般）、トラック2（モバイル最適化）、トラック3（超低消費電力）、それぞれがモデルサイズとエネルギー予算に異なる制約を設けた。

実験結果

リサーチクエスチョン

• RQ1 モバイルおよび埋め込みシステムにおけるリアルタイムオブジェクト検出のエネルギー効率を著しく向上させるためのシステムレベルの設計選択とは何か？
• RQ2 知識蒸留や量子化といったモデル圧縮技術を、厳密なエネルギー制約下でも高い正確性を維持できるように効果的に適用するにはどうすればよいか？
• RQ3 CPU、GPU、FPGA、ASICといったハードウェアプラットフォームの間で、エネルギー効率、開発コスト、デプロイの柔軟性という観点からどのようなトレードオフがあるか？
• RQ4 将来的なコンピュータビジョンシステムを、ソフトウェアとハードウェアを同時に最適化することで、エネルギー、遅延、正確性を同時に最適化できるか？
• RQ5 低消費電力環境において、意図、感情、文脈といった複雑な視覚的概念を理解できるビジョンシステムの構築における課題と機会は何か？

主な発見

• 2018年LPIRCトラック3優勝者は、0.4446 mAP/W-hのスコアを達成し、2015年の優勝者（0.0182 mAP/W-h）と比較して24.5倍の向上を示した。
• トラック3で最高のパフォーマンスを示したソリューションは、mAPが0.18318に達しながらも、わずか0.412ワットアワーの消費エネルギーに抑えられ、超低消費電力動作を実現した。
• 8ビット以下へのモデル量子化や知識蒸留といったシステムレベルの最適化により、エネルギー消費が著しく削減されたが、正確性の損失はほとんどなかった。
• FPGAおよびASICベースのプラットフォームは、一般用途のCPUやGPUに比べて、特に厳しい電力予算下でも優れたエネルギー効率を示した。
• コンペティションがイノベーションを促進したことは明らかで、2015年から2018年にかけての急速な進歩により、エネルギー効率が24倍以上向上した。これは、ImageNetベンチマークよりも低いmAPであったが、依然として顕著な向上であった。
• 超低消費電力を含む多様なトラックの導入により、参加の障壁が低下し、機械学習および埋め込みシステム分野のコミュニティからの参加が促進された。