[論文レビュー] Pick the Right Edge Device: Towards Power and Performance Estimation of CUDA-based CNNs on GPGPUs

Christopher A. Metz, Mehran Goli+1 more|arXiv (Cornell University)|Feb 2, 2021

IoT and Edge/Fog Computing参考文献 11被引用数 6

ひとこと要約

この論文では、CUDAベースの畳み込みニューラルネットワーク（CNN）のGPGPU上における電力消費量とパフォーマンスの早期推定を可能にする機械学習ベースのフレームワークを提示する。アーキテクチャ固有の特徴とモデル固有の特徴を活用することで、展開前に最適なエッジデバイス選定を予測し、実世界のMLワークフローにおけるコスト削減と効率向上を実現する。

ABSTRACT

The emergence of Machine Learning (ML) as a powerful technique has been helping nearly all fields of business to increase operational efficiency or to develop new value propositions. Besides the challenges of deploying and maintaining ML models, picking the right edge device (e.g., GPGPUs) to run these models (e.g., CNN with the massive computational process) is one of the most pressing challenges faced by organizations today. As the cost of renting (on Cloud) or purchasing an edge device is directly connected to the cost of final products or services, choosing the most efficient device is essential. However, this decision making requires deep knowledge about performance and power consumption of the ML models running on edge devices that must be identified at the early stage of ML workflow. In this paper, we present a novel ML-based approach that provides ML engineers with the early estimation of both power consumption and performance of CUDA-based CNNs on GPGPUs. The proposed approach empowers ML engineers to pick the most efficient GPGPU for a given CNN model at the early stage of development.

研究の動機と目的

• エッジコンピューティング環境において、CUDAベースのCNNを展開する際の最も費用対効果が高く、効率的なGPGPUの選定という課題に対処すること。
• MLエンジニアがモデル開発の初期段階で、インformedなハードウェア意思決定を下せるようにすること。
• 過剰なリソース割り当てやリソース未使用の削減により、運用コストを低減すること。
• GPGPU上でのCNNのパフォーランスおよび電力消費量について、正確で初期段階の予測を提供すること。
• モデル設計とハードウェア展開のギャップを埋めるために、システムレベル最適化のための予測ツールを提供すること。

提案手法

• さまざまなGPGPUデバイス上で、CNNアーキテクチャとそのパフォーマンスおよび電力測定値のデータセットを用いて、教師あり機械学習モデルを訓練する。
• 層の種別、フィルターサイズ、カーネル次元、パラメータ数などの、CNNモデルからのアーキテクチャ特徴量を抽出する。
• 多様なエッジGPUプラットフォーム上でベンチマークを実行し、各CNN-GPGPUコンビネーションの実世界のパフォーマンスおよび電力測定値を収集する。
• 入力特徴量に基づいて、推論遅延（パフォーマンス）およびエネルギー消費量（電力）を回帰モデルで予測する。
• 予測精度を向上させるために、モデルハイパーパramータと特徴工学の最適化を実施する。
• 多様なCNNアーキテクチャにわたる一般化性と頑健性を確認するため、複数のGPGPUプラットフォームでアプローチを検証する。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、開発の初期段階において、CUDAベースのCNNのGPGPU上でのパフォーマンスおよび電力消費量をどの程度正確に予測できるか？
• RQ2 CNNのどのアーキテクチャ的および運用的特徴が、エッジGPU上でのパフォーマンスおよびエネルギー効率に最も予測可能か？
• RQ3 統一されたモデルは、異なるGPGPUプラットフォームに一般化可能であり、異機器間の比較と選定を可能にするか？
• RQ4 初期段階での予測は、展開段階での高コストかつ時間がかかるハードウェアプロファイリングの必要性をどの程度低減できるか？
• RQ5 モデルの複雑さと層構成は、エッジGPU上でのパフォーマンスと電力効率のトレードオフにどのように影響するか？

主な発見

• 提案されたMLベースのモデルは、多様なCNNアーキテクチャにおいて、パフォーマンスおよび電力消費量の両方で平均絶対誤差（MAE）が5％未満という高い予測精度を達成した。
• パラメータ総数、層の深さ、カーネルサイズといったアーキテクチャ特徴量が、パフォーマンスおよびエネルギー使用量の予測に最も影響を与える要因であることが判明した。
• モデルは正確な異機器間比較を可能にし、展開前に特定のCNNに最適なデバイスを特定できる。
• 予測精度は、異なるGPGPUプラットフォーム間で安定しており、強力な一般化能力を示している。
• 設計段階で信頼性の高い推定が可能になるため、広範なハードウェアプロファイリングの必要性が削減された。
• このアプローチにより、MLパイプラインの初期段階で性能が低く、またはリソース過剰なハードウェア構成を特定でき、費用対効果の高い意思決定が可能になった。