[論文レビュー] Hardware Aware Neural Network Architectures using FbNet

Sai Vineeth Kalluru Srinivas, Harideep Nair+1 more|arXiv (Cornell University)|Jun 17, 2019

Advanced Neural Network Applications参考文献 6被引用数 4

ひとこと要約

本稿では、Raspberry Pi などのターゲットデバイス上で精度、レイテンシ、エネルギー消費量を同時に最適化できる微分可能ニューラルアーキテクチャ探索（NAS）手法 HANNA（Hardware Aware Neural Network Architecture）を提案する。FBNetの損失関数にエネルギー項を追加することで、コンパクトで効率的なモデルを発見し、MobileNetv2 よりも 2.5 倍の高速化と 3.8 倍の低エネルギー消費を達成した。精度は 4–5% の低下にとどまる。

ABSTRACT

We implement a differentiable Neural Architecture Search (NAS) method inspired by FBNet for discovering neural networks that are heavily optimized for a particular target device. The FBNet NAS method discovers a neural network from a given search space by optimizing over a loss function which accounts for accuracy and target device latency. We extend this loss function by adding an energy term. This will potentially enhance the ``hardware awareness" and help us find a neural network architecture that is optimal in terms of accuracy, latency and energy consumption, given a target device (Raspberry Pi in our case). We name our trained child architecture obtained at the end of search process as Hardware Aware Neural Network Architecture (HANNA). We prove the efficacy of our approach by benchmarking HANNA against two other state-of-the-art neural networks designed for mobile/embedded applications, namely MobileNetv2 and CondenseNet for CIFAR-10 dataset. Our results show that HANNA provides a speedup of about 2.5x and 1.7x, and reduces energy consumption by 3.8x and 2x compared to MobileNetv2 and CondenseNet respectively. HANNA is able to provide such significant speedup and energy efficiency benefits over the state-of-the-art baselines at the cost of a tolerable 4-5% drop in accuracy.

研究の動機と目的

• エッジデバイスにおけるパフォーマンスとハードウェア制約の両方を最適化するニューラルアーキテクチャ探索手法の開発。
• モバイルおよび組み込みプラットフォーム上で高いレイテンシとエネルギー消費を伴う、最新の最先端モデルが精度優先であるという限界の解消。
• 既存の NAS フレームワークを拡張し、エネルギー消費を探索損失関数内の第一の目的関数として統合すること。
• モデル圧縮やハードウェアチューニングの専門知識が不要な、自動的かつ効率的でデバイス固有のモデル生成を可能にすること。
• 精度、レイテンシ、エネルギーの共同最適化が、Raspberry Pi のような低消費電力デバイスにおいて優れた実用的パフォーマンスをもたらすことを実証すること。

提案手法

• 本手法は、FBNet の微分可能 NAS フレームワークを拡張し、損失関数にエネルギー項を導入することで、精度、レイテンシ、エネルギー消費量の共同最適化を可能にする。
• 損失関数は、精度、レイテンシ、エネルギー項の重み付き和として定式化され、目的間のトレードオフを制御する学習可能なハイパーパramータ α, β, γ, δ を含む。
• コントローラー・アーキテクチャは、探索空間から子ネットワークをサンプリングし、プロキシデータセットを用いて訓練し、ターゲットデバイス（Raspberry Pi）上でレイテンシおよびエネルギー指標を評価する。
• 探索プロセスは、アーキテクチャ空間の連続的リラクゼーションを用いた勾配ベース最適化を採用しており、エンドツーエンドの訓練と効率的なアーキテクチャ探索を実現する。
• 最終的な HANNA モデルは、学習済みパラメータ（theta）から最も確率の高いアーキテクチャをサンプリングすることで生成され、その後ターゲットデバイスにファインチューニングおよびデプロイされる。
• ユーザーがハイパーパramータおよびデバイスのルックアップテーブルを入力できるウェブインターフェースを実装し、バックエンドの NAS 訓練を介して自動的に HANNA モデルを生成する仕組みを提供する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルアーキテクチャ探索において、精度、レイテンシ、エネルギー消費量の共同最適化が、低消費電力エッジデバイスでの優れたパフォーマンスをもたらすか。
• RQ2 異なるトレードオフ重み（α, β, γ, δ）が、得られるモデルのレイテンシおよびエネルギー消費量に与える影響は何か。
• RQ3 NAS 損失関数にエネルギー項を追加することで、精度を犠牲にせずにエネルギー効率が著しく向上するか。
• RQ4 微分可能な NAS アプローチが、MobileNetv2 や CondenseNet といった最先端のモバイル最適化ネットワークを上回るコンパクトでハードウェアに配慮したモデルを効果的に発見できるか。
• RQ5 探索プロセスは、非専門家がターゲットハードウェアにデプロイ可能なユーザーフレンドリーなインターフェースにまで自動化・抽象化できるか。

主な発見

• HANNA は、CIFAR-10 データセットを Raspberry Pi にデプロイした際、MobileNetv2 よりも 2.5 倍の高速化、CondenseNet よりも 1.7 倍の高速化を達成した。
• HANNA は、MobileNetv2 よりも 3.8 倍、CondenseNet よりも 2 倍のエネルギー消費削減を実現し、顕著なエネルギー効率の向上を示した。
• 高速化およびエネルギー効率の向上にもかかわらず、HANNA は MobileNetv2 や CondenseNet と比較して精度が 4–5% の低下にとどまり、エッジデプロイに耐えうるとされる。
• レイテンシドミナント度指標は、β（指数的要因）を増加させることでレイテンシを低減するのが、α（乗算的要因）を増加させるよりも効果的であることを示した。
• エネルギードミナント度指標は、δ（エネルギー項のための要因）を増加させることでエネルギー消費が明確に減少することを確認した。特にモデル 12 は 3 J という最低のエネルギー消費を達成した。
• ウェブベースの HANNA モデルジェネレータにより、非専門家ユーザーがハイパーパramータおよびデバイスのルックアップテーブルを指定するだけで最適化されたモデルを生成できることを実証し、実用的なデプロイ可能性を示した。