[論文レビュー] Hardware-Aware Machine Learning: Modeling and Optimization

Diana Marculescu, Dimitrios Stamoulis+1 more|arXiv (Cornell University)|Sep 14, 2018

Parallel Computing and Optimization Techniques被引用数 6

ひとこと要約

本論文は、ハードウェア効率性を考慮した機械学習に関する包括的なサーベイを提示し、深層ニューラルネットワーク（DNNs）の予測モデリングおよび最適化に焦点を当てている。低遅延および低消費電力の要件を満たしつつ、精度を維持したまま、遅延と消費電力を同時に最小化するハードウェアに配慮したハイパーパrameter最適化手法を提案しており、モバイルデバイスからデータセンターシステムまで多様なプラットフォームにおけるDNNとアクセラレータの共同設計を可能にしている。

ABSTRACT

Recent breakthroughs in Deep Learning (DL) applications have made DL models a key component in almost every modern computing system. The increased popularity of DL applications deployed on a wide-spectrum of platforms have resulted in a plethora of design challenges related to the constraints introduced by the hardware itself. What is the latency or energy cost for an inference made by a Deep Neural Network (DNN)? Is it possible to predict this latency or energy consumption before a model is trained? If yes, how can machine learners take advantage of these models to design the hardware-optimal DNN for deployment? From lengthening battery life of mobile devices to reducing the runtime requirements of DL models executing in the cloud, the answers to these questions have drawn significant attention. One cannot optimize what isn't properly modeled. Therefore, it is important to understand the hardware efficiency of DL models during serving for making an inference, before even training the model. This key observation has motivated the use of predictive models to capture the hardware performance or energy efficiency of DL applications. Furthermore, DL practitioners are challenged with the task of designing the DNN model, i.e., of tuning the hyper-parameters of the DNN architecture, while optimizing for both accuracy of the DL model and its hardware efficiency. Therefore, state-of-the-art methodologies have proposed hardware-aware hyper-parameter optimization techniques. In this paper, we provide a comprehensive assessment of state-of-the-art work and selected results on the hardware-aware modeling and optimization for DL applications. We also highlight several open questions that are poised to give rise to novel hardware-aware designs in the next few years, as DL applications continue to significantly impact associated hardware systems and platforms.

研究の動機と目的

• モバイルからデータセンターシステムに至る多様なハードウェアプラットフォームに、エネルギーおよび遅延制約のあるDNNを効果的にデプロイするという増大する課題に対処する。
• 従来のDNN設計の限界を克服する。従来の設計は精度にのみ注目し、ハイパーパrameterチューニング段階でハードウェア効率性を無視している。
• トレーニングの前段階で、DNNの実行時間と消費電力を正確に予測するための予測モデルを用いて、効率的なモデルおよびハードウェアの共同設計を促進する。
• ハードウェアパフォーマンスを第一義的な制約として統合することで、自動化されたニューラルアーキテクチャサーチ（NAS）の最先端技術を進展させる。
• ハードウェアに配慮したDNN設計におけるクロスプラットフォームモデリングおよびマルチオブジェクティブ最適化に関する未解決の研究課題を特定する。

提案手法

• Eyeriss、Paleo、NeuralPowerなどの実行時間および消費電力推定フレームワークを含む、DNNハードウェアパフォーマンスの既存の予測モデルをサーベイおよび評価する。
• ハードウェアメトリクス（例：遅延、消費電力）を目的関数として組み込んだベイジアン最適化およびNASベースの手法を用いた、ハードウェアに配慮したハイパーパrameter最適化を導入する。
• 非線形DNNアーキテクチャ、特に複雑で非順序的な演算を含むNASで使用されるアーキテクチャに対応できるように、予測モデルを拡張する。
• GPU、FPGA、再構成可能アクセラレータを含む多様なハードウェアに一般化可能なクロスプラットフォームの予測モデルを開発する。
• DNNアーキテクチャとハードウェアパrameter（例：処理素子数）を同時に最適化する共同設計パイプラインに、ハードウェアに配慮したモデルを統合する。
• 精度、遅延、消費電力、ハードウェア利用度をバランスさせるマルチオブジェクティブ最適化問題を定式化する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングの前段階で、アーキテクチャ的ハイパーパrameterに基づいて、DNNの実行時間と消費電力を正確に推定できる予測モデルを構築できるか？
• RQ2 精度を損なわずに、ハードウェア効率性をニューラルアーキテクチャサーチ（NAS）およびハイパーパrameter最適化に効果的に統合する方法は何か？
• RQ3 NASで使用されるような非線形で複雑なDNNアーキテクチャ（例：セルベース）に、ハードウェアに配慮したモデルを拡張する際の主な課題は何か？
• RQ4 予測モデルを、モバイル、エッジ、サーバーシステムを含む多様なハードウェアプラットフォーム間でポータブルにできるか？
• RQ5 処理素子数（PE数）などのDNNアーキテクチャとハードウェアパラメータを共同最適化することで、パフォーマンスおよびエネルギー効率がどのように向上するか？

主な発見

• 同じ精度を達成するDNN間でも、消費電力に最大40倍の差が生じる事例が存在し、ハードウェアに配慮した設計の必要性が浮き彫りになる。
• ハードウェアに配慮したNASおよびハイパーパラメータ最適化により、精度・遅延・エネルギー効率のパラメータのパレートフロントに近いモデルを特定できる。
• 既存の予測モデルは主に線形またはパイプライン型DNNに限定されており、NASで使用される非線形でセルベースのアーキテクチャを扱えるように拡張する必要がある。
• クロスプラットフォームのハードウェアに配慮したモデルは、異なるプラットフォーム間での知識の転送を可能にし、ポータブルで効率的なDNNデプロイメントを実現するために不可欠である。
• 再構成可能なFPGAのようなハードウェアアクセラレータとDNNを予測モデルに従って共同最適化することで、エネルギー効率およびパフォーマンスの大幅な向上が達成できる。
• 精度と遅延を超えて、ハードウェア利用度といった要因を含むマルチオブジェクティブ最適化により、より効率的でスケーラブルなデプロイメントが実現できる。