[論文レビュー] Hardware/Software Co-Exploration of Neural Architectures

Weiwen Jiang, Lei Yang+6 more|arXiv (Cornell University)|Jul 6, 2019

Advanced Neural Network Applications参考文献 40被引用数 16

ひとこと要約

本論文は、精度とハードウェア効率を最大化するために、ニューラルアーキテクチャとFPGAハードウェア設計空間を共同で最適化する、ハードウェア/ソフトウェア共同探索フレームワークを提案する。高速および遅速の二段階反復的探索（高速なプルーニングにより、完全な学習を伴わずに低効率なアーキテクチャを除外し、遅速な強化学習により上位候補を精錬する）を採用することで、ImageNet上でハードウェアに配慮したNASに比べ、スループットが35.24%向上、エネルギー効率が54.05%向上し、同等の精度を維持した。

ABSTRACT

We propose a novel hardware and software co-exploration framework for efficient neural architecture search (NAS). Different from existing hardware-aware NAS which assumes a fixed hardware design and explores the neural architecture search space only, our framework simultaneously explores both the architecture search space and the hardware design space to identify the best neural architecture and hardware pairs that maximize both test accuracy and hardware efficiency. Such a practice greatly opens up the design freedom and pushes forward the Pareto frontier between hardware efficiency and test accuracy for better design tradeoffs. The framework iteratively performs a two-level (fast and slow) exploration. Without lengthy training, the fast exploration can effectively fine-tune hyperparameters and prune inferior architectures in terms of hardware specifications, which significantly accelerates the NAS process. Then, the slow exploration trains candidates on a validation set and updates a controller using the reinforcement learning to maximize the expected accuracy together with the hardware efficiency. Experiments on ImageNet show that our co-exploration NAS can find the neural architectures and associated hardware design with the same accuracy, 35.24% higher throughput, 54.05% higher energy efficiency and 136x reduced search time, compared with the state-of-the-art hardware-aware NAS.

研究の動機と目的

• 既存のハードウェアに配慮したNASの限界に対処する。これは、ハードウェアプラットフォームを固定し、ニューラルアーキテクチャ空間のみを探索するため、最適でない設計トレードオフが生じる。
• ニューラルアーキテクチャとハードウェア設計空間の両方を共同で探索することで、設計の自由度を拡大し、精度とハードウェア効率のパレートフロンティアを向上させる。
• 完全な学習を伴わないハードウェア効率の推定を可能にする、高速で軽量なプルーニング段階を導入することで、NASプロセスの高速化を実現する。
• 探索中にタイミング仕様を共同最適化することで、最終的なモデルがリアルタイム制約（例：10 FPS）を満たすことを保証する。
• モデルサイズだけではハードウェア効率を保証できないことを実証し、ハードウェアマッピングにおける構造的感受性のため、共同探索の必要性を裏付ける。

提案手法

• 高速段階では、ハードウェア効率を素早く推定し、劣悪なアーキテクチャをプルーニングするための高速な反復的探索を実装し、遅速段階では完全な学習とポリシー勾配ベースのコントローラー更新を実行する。
• 高速段階において、正確なハードウェア効率（スループット、エネルギー効率）の推定を可能にするために、BLASTフレームワークを用いてニューラルネットワークを複数のFPGAに分割する。
• 遅速段階で強化学習を統合し、期待される精度とハードウェア効率を組み合わせた多目的報酬を最大化する。
• ハードウェア設計空間をNASにおける第一級のオブジェクトとして扱い、各ニューラルアーキテクチャに最適化されたカスタムFPGA設定の探索を可能にする。
• 面積、コスト、消費電力、信頼性などの複数のハードウェアメトリクスを最適化目的としてサポートし、評価ではスループットとエネルギー効率に重点を置く。
• 既存のNASフレームワークにハードウェア共同設計機能を追加し、最先端のNASパイプラインへのプラグイン統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルアーキテクチャとハードウェア設計空間を共同で探索することで、逐次的または固定ハードウェアのNASに比べ、精度とハードウェア効率のトレードオフをより良くできるか？
• RQ2 完全な学習を伴わない、ハードウェア効率に基づく高速プルーニングは、探索品質を損なわせることなく、NASプロセスを顕著に高速化できるか？
• RQ3 共同探索により、ハードウェアに配慮したNASが失敗するような厳密なリアルタイム制約（例：10 FPS）を満たすアーキテクチャを同定できるか？
• RQ4 アーキテクチャ構造とハードウェア効率の相関関係が設計空間探索に与える影響は何か？また、これを活用することで探索結果を改善できるか？
• RQ5 ハードウェア設計空間を開放することで、固定ハードウェアアプローチに比べ、精度対ハードウェア効率のパレートフロンティアはどの程度拡張されるか？

主な発見

• 共同探索フレームワークは、ImageNet上でハードウェアに配慮したNASに比べ、スループットが35.24%向上、エネルギー効率が54.05%向上し、同等のテスト精度を維持した。
• Xilinx XC7Z015 FPGAを用いたCIFAR-10では、共同探索アプローチ（設計C）が、ハードウェアに配慮したNASモデルの逐次最適化に比べ、スループットが16.33%向上、エネルギー効率が28.80%向上した。
• フレームワークは、10 FPSのタイミング制約を満たすモデルを正常に同定したが、ProxylessNetとMobileNetV2はこのベンチマークを満たせなかった。
• 手動で設計されたMobileNetV2と比較して、共同探索フレームワークは、トップ5精度の損失がたった0.47%にとどめながら、スループットが2.33倍、エネルギー効率が1.57倍向上した。
• ProxylessNetと比較すると、共同探索フレームワークは90.53%のトップ5精度（対象は92.50%）を達成しながら10 FPS要件を満たし、リアルタイムシステムにおけるより優れたトレードオフを示した。
• 本研究は、モデルサイズだけではハードウェア効率を予測できないことを確認した。同程度のサイズのアーキテクチャでも、ハードウェア効率に顕著な差（例：1.29%から98.35%）が生じるため、共同探索の必要性を裏付けた。