[論文レビュー] Designing Adaptive Neural Networks for Energy-Constrained Image Classification

Dimitrios Stamoulis, Ting-Wu Chin+5 more|arXiv (Cornell University)|Aug 5, 2018

Advanced Neural Network Applications参考文献 30被引用数 4

ひとこと要約

本稿では、エネルギー制約下でのモバイル画像分類を想定し、ネットワークアーキテクチャと選択ポリシーを同時に最適化するグローバルに最適化された適応型CNNフレームワークを提案する。設計をハイパーパramータ最適化問題として定式化し、ハードウェアに配慮した微調整を組み込んだベイズ最適化を用いることで、モバイルSoC上での従来のブラックボックスCNN手法と比較して、エネルギー消費を最大6倍まで低減する。

ABSTRACT

As convolutional neural networks (CNNs) enable state-of-the-art computer vision applications, their high energy consumption has emerged as a key impediment to their deployment on embedded and mobile devices. Towards efficient image classification under hardware constraints, prior work has proposed adaptive CNNs, i.e., systems of networks with different accuracy and computation characteristics, where a selection scheme adaptively selects the network to be evaluated for each input image. While previous efforts have investigated different network selection schemes, we find that they do not necessarily result in energy savings when deployed on mobile systems. The key limitation of existing methods is that they learn only how data should be processed among the CNNs and not the network architectures, with each network being treated as a blackbox. To address this limitation, we pursue a more powerful design paradigm where the architecture settings of the CNNs are treated as hyper-parameters to be globally optimized. We cast the design of adaptive CNNs as a hyper-parameter optimization problem with respect to energy, accuracy, and communication constraints imposed by the mobile device. To efficiently solve this problem, we adapt Bayesian optimization to the properties of the design space, reaching near-optimal configurations in few tens of function evaluations. Our method reduces the energy consumed for image classification on a mobile device by up to 6x, compared to the best previously published work that uses CNNs as blackboxes. Finally, we evaluate two image classification practices, i.e., classifying all images locally versus over the cloud under energy and communication constraints.

研究の動機と目的

• 従来の適応型CNNがネットワークをブラックボックスとして扱い、選択ポリシーのみを最適化する一方で、アーキテクチャのチューニングを無視するという制限を解決すること。
• 実際のモバイルプラットフォーム上で既存手法が効果を発揮しない問題を克服するため、ハードウェア制約下でネットワークアーキテクチャと選択方式を共同で最適化すること。
• エネルギー、精度、通信のトレードオフに注目し、モバイルデプロイメントに適した、体系的かつハードウェア測定に基づく適応型CNNの最適化を可能にすること。
• アーキテクチャのハイパーパramータ（例：フィルタ数、隠れユニット数）がエネルギー効率に顕著な影響を及ぼすことを示し、グローバルに最適化する必要があることを実証すること。
• ローカル処理とリモート処理のトレードオフを検討し、同じ精度制約下でハイブリッドオンデバイス／クラウド実行がさらなるエネルギー節約をもたらす可能性を示すこと。

提案手法

• ネットワークアーキテクチャパラメータ（例：特徴マップ数、隠れユニット数）をチューナブルなハイパーパラメータとして扱い、適応型CNNの設計をハイパーパラメータ最適化問題として定式化する。
• 高次元の設計空間を効率的に探索するためベイズ最適化（BO）を適用し、過剰制約領域での収束を加速するための新規なκベースの微調整ステップを導入する。
• 商用Nvidia Tegra TX1モバイルSoCからの実ハードウェア測定値を最適化の指針として用い、結果が実際のエネルギー消費を反映していることを保証する。
• 通信コストモデリングを統合し、ハイブリッドローカル／クラウド推論戦略を評価する。これにより、計算とデータ転送のエネルギーのトレードオフを分析可能にする。
• エネルギー、精度、通信制約の複数の観点から設計を比較するためのパレートフロントを構築し、近似的に最適な設定を同定する。
• CIFAR-10上で、網羅的なグリッドサーチと最先端の静的ベースライン（例：Bolukbasi et al., Park et al.）と比較して、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ネットワークアーキテクチャと選択ポリシーを共同で最適化することで、モバイルプラットフォーム上での適応型CNNにおける顕著なエネルギー削減が達成可能か？
• RQ2 ネットワークアーキテクチャを固定するブラックボックスアプローチと比較して、ハードウェアに配慮したハイパーパラメータ最適化は、どのような利点を示すか？
• RQ3 同じ精度制約下で、完全にローカル実行と比較して、ハイブリッドローカル／クラウド実行は、エネルギー消費をどの程度削減できるか？
• RQ4 ベイズ最適化にκベースの微調整ステップを組み込むことで、エネルギー制約下の設計空間における収束速度と解の品質が向上するか？
• RQ5 適応型システムに含まれるネットワーク数が、エネルギー効率と精度のトレードオフに与える影響はどの程度か？

主な発見

• 提案手法BO⁺は、精度制約下で、最も優れた既存のブラックボックスCNN手法と比較して、エネルギー消費を最大6倍まで削減する。
• 精度制約下で、先行研究と比較して31.13%の精度向上を達成し、精度－エネルギートレードオフの最適化が優れていることを示している。
• ベイズ最適化におけるκベースの微調整ステップは、精度制約下で13.18%、エネルギー制約下で21.22%のエネルギー消費削減をもたらす。
• ハイブリッド実行（最小のCNNのみローカルで実行し、より大きなネットワークはオフロード）は、同じ誤差レベルで完全なローカル実行と比較して、エネルギー消費を2.96倍まで削減する。
• BO⁺を用いた3ネットワークの適応型設計は、3%の精度低下制約下で最小113.59 mJのエネルギー消費を達成し、最適なグリッドサーチ結果からわずか4.74%しか上回らない。
• パレートフロント分析により、本手法が良好に一般化しており、検証セットに過学習が観察されないことが確認され、複数の制約下で近似的に最適な設定が同定された。