[論文レビュー] Improving the Energy Efficiency and Robustness of tinyML Computer Vision using Log-Gradient Input Images

Qianyun Lu, Boris Murmann|arXiv (Cornell University)|Mar 4, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、tinyML用の畳み込みニューラルネットワーク（CNN）の入力として、対数勾配（log∇）画像を用いることを提案する。これにより、1.5ビットの極めて激しい量子化が第1層の入力に可能となり、フィルタ類似度の向上によりCNNのprunability（刈り込み可能性）が向上し、照度変動に対して本質的に頑健な特性（8倍の明るさ変動でも1.7%の精度低下）を示す。従来の画像信号処理（ISP）をアナログドメインでの対数勾配計算に置き換えることで、エネルギー消費とシステムの複雑さが低減される。

ABSTRACT

This paper studies the merits of applying log-gradient input images to convolutional neural networks (CNNs) for tinyML computer vision (CV). We show that log gradients enable: (i) aggressive 1.5-bit quantization of first-layer inputs, (ii) potential CNN resource reductions, and (iii) inherent robustness to illumination changes (1.7% accuracy loss across 1/32...8 brightness variation vs. up to 10% for JPEG). We establish these results using the PASCAL RAW image data set and through a combination of experiments using neural architecture search and a fixed three-layer network. The latter reveal that training on log-gradient images leads to higher filter similarity, making the CNN more prunable. The combined benefits of aggressive first-layer quantization, CNN resource reductions, and operation without tight exposure control and image signal processing (ISP) are helpful for pushing tinyML CV toward its ultimate efficiency limits.

研究の動機と目的

• バッテリー駆動のIoTデバイスにおける増大するエネルギーおよびコスト制約に対処するため、センサーから分類器に至るまでのコンピュータビジョンパイプライン全体を最適化すること。
• 従来の画像信号処理（ISP）が、人間の視認性を前提としすぎているため、機械の効率性に不釣り合いであるtinyMLシステムの限界を克服すること。
• 対数勾配前処理が、CNNの圧縮性、照度変動に対する頑健性、およびエネルギー効率の向上に寄与するかを検討すること。
• log∇入力が、精度を損なわせることなく第1層特徴量を1.5ビット（3レベル）に極端に量子化可能であり、データ移動量とメモリオーバーヘッドを低減できることを実証すること。
• アナログドメインでの対数勾配計算とディープラーニングモデルを統合することで、ハードウェアに配慮したエンドツーエンド最適化パスをtinyML CVに確立すること。

提案手法

• 入力画像 $ P $ に対して $ P' = \log(P + 1) $ の式を用いて対数勾配画像を計算し、Sobelに類似した勾配フィルタ $ f $ で2次元畳み込みを実行し、$ \log\nabla = P' * f $ を得る。ここで $ P $ は入力画像を表す。
• PASCAL RAW 2014データセットを用いて、生のセンサデータを用いてモデルを学習・評価し、照度変動のリアルなシミュレーションを可能にする。
• ニューラルアーキテクチャサーチ（NAS）を用い、RAW、JPEG、log∇入力で学習したCNNを比較し、刈り込み可能性の指標としてのフィルタ類似度と圧縮性を測定する。
• NASの結果を検証するため、3層のCNNアーキテクチャを固定し、異なる入力タイプにおけるフィルタ類似度と刈り込み効率を測定する。
• 入力画像を $ 2^{-5} $ から $ 2^{3} $ のスケーリング係数で変更することで照度変化をシミュレートし、RAW、JPEG、log∇入力の間で精度低下を比較する。
• log∇入力を使用する場合、CNNの第1層特徴量を1.5ビット（3レベル）に量子化し、モデル性能およびデータ移動量への影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 対数勾配前処理により、第1層CNN入力の1.5ビットという極めて激しい量子化が可能になるか？ これによりデータ移動量とメモリ要件が低減されるか？
• RQ2 対数勾配画像で学習させることで、より高いフィルタ類似度（コサイン類似度で測定）と低減されたモデル複雑性により、CNNの刈り込み可能性が向上するか？
• RQ3 広動的範囲における照度変動に対して、対数勾配入力処理は、標準的なJPEGおよびRAW入力と比較して、どの程度頑健か？
• RQ4 デジタルISP段階の削除は、対数勾配前処理によってどの程度補われ、精度およびエネルギー効率の面で効果を発揮するか？
• RQ5 log∇前処理は、tinyMLコンピュータビジョンシステムにおける従来のISPパイプラインの代替として、実用的かつエネルギー効率の良い選択肢となるか？

主な発見

• 対数勾配前処理により、第1層CNN入力の1.5ビットという極めて激しい量子化が可能となり、従来の5ビット以上を要する要件と比較して、データ移動量とメモリ要件が低減される。
• 対数勾配入力で学習したCNNは、コサイン類似度で測定したフィルタ類似度が著しく高く、構造的規則性が向上し、圧縮性が向上していることが示された。
• log∇ベースのシステムは、8倍の明るさ変動範囲（$ 2^{-5} $ から $ 2^{3} $）において、わずか1.7%の精度低下に抑えられた。これに対してJPEG入力では最大10%の精度低下が生じた。
• ニューラルアーキテクチャサーチの結果、log∇で学習したモデルはRAWやJPEGで学習したモデルよりも圧縮性が高く、刈り込み後のパラメータ数および活性化数が低減された。
• log∇アプローチは、照度不変性を内蔵しており、tinyMLシステムにおける複雑な露出制御や画像信号処理の必要性を低減する。
• 従来のハードウェアで示されたように、対数勾配のアナログドメイン計算がエネルギー効率的であり、センサレベルでのシステム全体のエネルギー削減を可能にする。