[論文レビュー] A Study on the Intersection of GPU Utilization and CNN Inference

Jack Kosaian, Amar Phanishayee|arXiv (Cornell University)|Dec 15, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

この論文は、CNN推論におけるGPU利用状況を調査し、高いスループットや精度を示すモデルにおいても、その利用状況に顕著なばらつきが生じることを明らかにした。本研究では、ニューラルアーキテクチャサーチ（NAS）における軽量な代理指標としてGPU利用状況を活用することを提案し、高価な精度評価に依存するのを減らすことで探索を高速化する可能性を示したが、初期の結果では探索時間や品質の向上は限定的であった。

ABSTRACT

There has been significant progress in developing neural network architectures that both achieve high predictive performance and that also achieve high application-level inference throughput (e.g., frames per second). Another metric of increasing importance is GPU utilization during inference: the measurement of how well a deployed neural network uses the computational capabilities of the GPU on which it runs. Achieving high GPU utilization is critical to increasing application-level throughput and ensuring a good return on investment for deploying GPUs. This paper analyzes the GPU utilization of convolutional neural network (CNN) inference. We first survey the GPU utilization of CNNs to show that there is room to improve the GPU utilization of many of these CNNs. We then investigate the GPU utilization of networks within a neural architecture search (NAS) search space, and explore how using GPU utilization as a metric could potentially be used to accelerate NAS itself. Our study makes the case that there is room to improve the inference-time GPU utilization of CNNs and that knowledge of GPU utilization has the potential to benefit even applications that do not target utilization itself. We hope that the results of this study will spur future innovation in designing GPU-efficient neural networks.

研究の動機と目的

• 画像分類に用いられる最先端のCNNにおけるGPU利用状況を分析し、高いスループットや精度を示すにもかかわらず、利用状況が不十分であることを明らかにすること。
• 演算強度を高める技術が、一般用途向けCNNにおけるGPU利用状況の向上に寄与するかどうかを調査すること。
• GPU利用状況が、ニューラルアーキテクチャサーチ（NAS）における精度の低コストな代理指標として機能するかどうかを評価し、探索時間とリソース使用量の削減を図ること。
• NASにおける近似フィルタリングの可能性を検討し、完全な訓練評価の必要性を最小限に抑えること。

提案手法

• さまざまな手動設計およびNASで同定されたCNNを対象にGPU利用状況を調査し、スループットとFLOPs分析を用いて利用状況を測定した。
• GPU利用状況の主要因である演算強度を分析し、先行研究（Kosaian et al., 2021）の手法を応用して、一般用途向けCNNにおける演算強度を向上させた。
• NATS-Benchの探索空間内におけるモデルのGPU利用状況と精度を評価し、相関関係を特定した。
• データシステム分野の近似フィルタリングをNASに適応し、GPU利用状況を事前フィルタとして活用することで、完全な精度評価を要する候補数を削減した。
• 強化学習を用いたNASシミュレーションと近似フィルタリングを実施し、精度対スループットのパレートフロンティアを比較した。
• GPU、ネットワーク、ストレージ帯域幅の使用状況を、完全な精度評価とGPU利用状況推定の間で比較することで、リソース効率を測定した。

実験結果

リサーチクエスチョン

• RQ1 最先端のCNNは、高いスループットや精度を示すにもかかわらず、推論中にどの程度のGPU利用状況を達成しているのか？
• RQ2 専用CNNに事前に適用された演算強度の向上技術が、一般用途向けCNNにおいてもGPU利用状況の向上に寄与するのか？
• RQ3 NAS探索空間内において、GPU利用状況とモデル精度の間に有意な相関関係があるのか？
• RQ4 GPU利用状況が、完全な精度評価の回数を減らすことでNASの高速化に寄与する効果的で低コストな代理指標として機能するのか？
• RQ5 NASにおける近似フィルタリングにGPU利用状況を用いる場合、探索効率と解の品質のトレードオフはどのようなものか？

主な発見

• 高いスループットや高い精度を示す多くのCNNは、最適でないGPU利用状況を示しており、パフォーマンス向上の余地が顕著に存在することがわかった。
• 演算強度を高める技術により、一般用途向けCNNにおけるGPU利用状況とスループットが有意に向上した。これは、先行研究の手法が一般化可能である可能性を示唆している。
• NATS-Benchの探索空間内において、GPU利用状況と精度の間に正の相関関係が観察された。これは、GPU利用状況を代理指標として用いることの妥当性を裏付けた。
• GPU利用状況を用いた近似フィルタリングにより、完全な精度評価を要する候補数が削減されたが、得られたパレートフロンティアはベースライン手法と比べてわずかに優れていたにとどまった。
• GPU利用状況の評価には、1つのGPUのみを必要とし、ネットワークやストレージ帯域幅を消費しなかった。これは、完全な精度訓練に比べてはるかにリソース効率が高かった。
• 探索時間や解の品質に顕著な向上は見られなかったが、GPU利用状況評価のリソース効率の高さは、データセンターおよびクラウド環境におけるNASのスケーラビリティ向上に寄与する可能性を示唆している。