[論文レビュー] A Comprehensive Survey on Hardware-Aware Neural Architecture Search

Hadjer Benmeziane, Kaoutar El Maghraoui+4 more|arXiv (Cornell University)|Jan 22, 2021

Advanced Neural Network Applications参考文献 187被引用数 56

ひとこと要約

この調査はハードウェア認識型 NAS (HW-NAS) をレビューし、探索空間、戦略、加速化、ハードウェアコスト推定によって方法を分類し、課題と今後の方向性を議論します。

ABSTRACT

Neural Architecture Search (NAS) methods have been growing in popularity. These techniques have been fundamental to automate and speed up the time consuming and error-prone process of synthesizing novel Deep Learning (DL) architectures. NAS has been extensively studied in the past few years. Arguably their most significant impact has been in image classification and object detection tasks where the state of the art results have been obtained. Despite the significant success achieved to date, applying NAS to real-world problems still poses significant challenges and is not widely practical. In general, the synthesized Convolution Neural Network (CNN) architectures are too complex to be deployed in resource-limited platforms, such as IoT, mobile, and embedded systems. One solution growing in popularity is to use multi-objective optimization algorithms in the NAS search strategy by taking into account execution latency, energy consumption, memory footprint, etc. This kind of NAS, called hardware-aware NAS (HW-NAS), makes searching the most efficient architecture more complicated and opens several questions. In this survey, we provide a detailed review of existing HW-NAS research and categorize them according to four key dimensions: the search space, the search strategy, the acceleration technique, and the hardware cost estimation strategies. We further discuss the challenges and limitations of existing approaches and potential future directions. This is the first survey paper focusing on hardware-aware NAS. We hope it serves as a valuable reference for the various techniques and algorithms discussed and paves the road for future research towards hardware-aware NAS.

研究の動機と目的

• 多様なハードウェアプラットフォーム向けにニューラルアーキテクチャ設計を自動化する必要性を動機づける。
• HW-NAS を定義し、リソース制約のあるデプロイメントにとっての重要性を説明する。
• 主要な次元（search space、strategy、acceleration、cost estimation）に沿った HW-NAS の分類法を提供する。
• 課題、制限、および今後の研究を導く将来の方向性を特定する。

提案手法

• 目的と対象プラットフォームに従って HW-NAS の研究を分類する。
• Architecture Search Space と Hardware Search Space を定義し、それらの役割について論じる。
• HW-NAS を多目的最適化問題として形式化する（単目的/多目的、制約付き）。
• 強化学習、進化アルゴリズム、勾配ベースおよび非微分可能な手法、加速法を含む探索戦略をレビューする。
• ハードウェアコスト推定手法と指標、およびそれらがどのように測定または予測されるかを議論する。
• さまざまなハードウェアプラットフォームでの産業界の適用状況と実務的な考慮事項を調査する。

実験結果

リサーチクエスチョン

• RQ1 異なるハードウェア目標に対する主要な HW-NAS カテゴリとそれらの目標は何か？
• RQ2 Architecture Search Space および Hardware Search Space が、探索戦略とともに、HW-NAS の効率性と実用性にどのように影響するか？
• RQ3 HW-NAS におけるハードウェアコスト推定の手法にはどのようなものがあり、プラットフォーム間で HW-NAS 主導のアーキテクチャを展開する際の課題は何か？

主な発見

• HW-NAS は、制約のあるデバイスに対してモデルの精度とハードウェア効率をバランスさせることを可能にする。
• HW-NAS の目標には、単一ターゲット固定構成、単一ターゲット複数構成、複数ターゲットの分類が存在する。
• 2つの主要な探索空間タイプは Architecture Search Space と Hardware Search Space で、さまざまなサブタイプとトレードオフがある。
• ハードウェアコスト推定と測定は重要で、ランタイム測定、解析モデル、予測技術などの複数の戦略を含む。
• 本調査は、HW-NAS の研究開発と展開を前進させるための課題、制限、および将来の方向性を特定する。