[論文レビュー] EH-DNAS: End-to-End Hardware-aware Differentiable Neural Architecture Search

Qian Jiang, Xiaofan Zhang+3 more|arXiv (Cornell University)|Nov 24, 2021

Advanced Neural Network Applications参考文献 43被引用数 5

ひとこと要約

EH-DNASは、エンド・ツー・エンドのハードウェア遅延を予測する微分可能モデルを学習することで、ハードウェアパフォーマンスベンチマークと微分可能アーキテクチャ探索を統合するエンド・ツー・エンドのハードウェアに配慮した微分可能ニューラルアーキテクチャ探索フレームワークを提案する。カスタムアクセラレータでは平均1.4倍、既存のハードウェアプラットフォームでは1.6倍のパフォーマンス向上を達成し、分類精度を維持している。

ABSTRACT

In hardware-aware Differentiable Neural Architecture Search (DNAS), it is challenging to compute gradients of hardware metrics to perform architecture search. Existing works rely on linear approximations with limited support to customized hardware accelerators. In this work, we propose End-to-end Hardware-aware DNAS (EH-DNAS), a seamless integration of end-to-end hardware benchmarking, and fully automated DNAS to deliver hardware-efficient deep neural networks on various platforms, including Edge GPUs, Edge TPUs, Mobile CPUs, and customized accelerators. Given a desired hardware platform, we propose to learn a differentiable model predicting the end-to-end hardware performance of neural network architectures for DNAS. We also introduce E2E-Perf, an end-to-end hardware benchmarking tool for customized accelerators. Experiments on CIFAR10 and ImageNet show that EH-DNAS improves the hardware performance by an average of $1.4 imes$ on customized accelerators and $1.6 imes$ on existing hardware processors while maintaining the classification accuracy.

研究の動機と目的

• さまざまなハードウェアプラットフォーム向けに、現実的なハードウェアパフォーマンスフィードバックを微分可能ニューラルアーキテクチャ探索（DNAS）に統合する課題に対処すること。
• 実際のハードウェア遅延と相関が低い線形近似やプロキシ指標（例：FLOPS、パラメータ数）の制限を克服すること。
• 非標準のメモリおよび計算パターンを備えたカスタムアクセラレータに対しても、効果的なアーキテクチャ探索を可能にすること。
• 汎用的およびパイプラインベースのアクセラレータパラダイムの両方をサポートするスケーラブルで微分可能なハードウェア損失関数を開発すること。
• CIFAR10 や ImageNet などのベンチマークデータセットでモデル精度を損なわずに、高いハードウェア効率を達成すること。

提案手法

• カスタムアクセラレータ上でニューラルアーキテクチャのエンド・ツー・エンド推論遅延を測定するハードウェアベンチマークツール「E2E-Perf」を提案し、正確なパフォーマンスデータ収集を可能にする。
• アーキテクチャを入力としてハードウェアパフォーマンスを近似する微分可能な関数 $\mathcal{F}_\phi$ を学習し、DNASにおける勾配ベース最適化を可能にする。
• 学習済みのハードウェア損失 $\mathcal{L}_{\text{hw}}(\mathbf{a}) = \mathcal{F}_\phi(\mathbf{a})$ を、精度とハードウェア効率の両方を最適化するDNASの学習目的関数に直接統合する。
• 学習可能な埋め込みを備えた深層ニューラルネットワークを用い、レイヤーおよびアクセラレータタイプ間の複雑で非線形なハードウェアパフォーマンス関係をモデル化する。
• 2段階のパイプラインを採用：まずE2E-Perfを用いてハードウェアパフォーマンスデータを収集し、次に微分可能なハードウェア損失モデルを訓練した後、エンド・ツー・エンドのDNASを実行する。
• 汎用的およびパイプラインベースのアクセラレータパラダイムの両方をサポートし、従来の線形近似手法に比べて広範なハードウェア互換性を実現する。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドのハードウェア測定から得たデータをもとに、微分可能なハードウェア損失関数を効果的に学習し、DNASをガイドできるか？
• RQ2 提案されたEH-DNASフレームワークは、LUTベースおよびプロキシベースの手法と比較して、ハードウェアパフォーマンス推定の正確性においてどのように異なるか？
• RQ3 EH-DNASは、モデル精度を維持したまま、カスタムアクセラレータにおけるハードウェア効率をどの程度向上できるか？
• RQ4 このフレームワークは、エッジGPU、エッジTPU、モバイルCPU、およびカスタムアクセラレータを含む多様なハードウェアプラットフォームに一般化可能か？
• RQ5 学習済みハードウェア損失におけるモデルの複雑さは、推定の正確性および探索パフォーマンスにどのように影響するか？

主な発見

• EH-DNASは、カスタムアクセラレータで平均1.4倍、既存のハードウェアプロセッサ（エッジGPU、エッジTPU、モバイルCPU）で平均1.6倍のハードウェアパフォーマンス向上を達成し、分類精度を維持している。
• 提案された微分可能なハードウェア損失は、カスタムアクセラレータで平均3.6%の推定誤差率を達成し、LUTベース手法の32.5%誤差と比べて顕著に低い。
• Raspberry Pi 4 や Pixel 3 といったモバイルプラットフォームでは、EH-DNASは誤差率をそれぞれ38.0%および48.4%に低減し、OSおよびメモリボトルネックによる高いばらつきに苦しむLUTよりも優れた性能を示している。
• フレームワークは、レイヤーの複雑さを減らす傾向があるLUTベース手法とは異なり、より複雑で効率的なアーキテクチャを発見している。
• アブレーションスタディの結果、ハードウェア損失モデルにおける埋め込みサイズ10が、複雑さと正確性の最適なトレードオフを達成し、3.6%の誤差率を実現している。
• ハードウェア損失の重み調整ハイパーパrameter $\beta$ を調整することで、精度の低下が1%未満で済む範囲で、ハードウェアパフォーマンスを2倍に向上させることができ、強力な効率-精度トレードオフを示している。