[論文レビュー] Accelerating Neural Network Training: A Brief Review

Sahil Nokhwal, Priyanka Chilakalapudi+4 more|arXiv (Cornell University)|Dec 15, 2023

Advanced Neural Network Applications被引用数 6

ひとこと要約

本論文では、単一GPU環境における深層ニューラルネットワーク（DNN）の学習を高速化するため、勾配蓄積（Gradient Accumulation）、自動混合精度（AMP）、ピンメモリ（Pin Memory）の組み合わせを提案する。この手法により、学習時間を最大70％まで短縮し、モデルの精度を維持または向上させることができ、特に効率的（EfficientNet）な性能がCIFAR10およびCIFAR100データセットで最良の結果を示した。

ABSTRACT

The process of training a deep neural network is characterized by significant time requirements and associated costs. Although researchers have made considerable progress in this area, further work is still required due to resource constraints. This study examines innovative approaches to expedite the training process of deep neural networks (DNN), with specific emphasis on three state-of-the-art models such as ResNet50, Vision Transformer (ViT), and EfficientNet. The research utilizes sophisticated methodologies, including Gradient Accumulation (GA), Automatic Mixed Precision (AMP), and Pin Memory (PM), in order to optimize performance and accelerate the training procedure. The study examines the effects of these methodologies on the DNN models discussed earlier, assessing their efficacy with regard to training rate and computational efficacy. The study showcases the efficacy of including GA as a strategic approach, resulting in a noteworthy decrease in the duration required for training. This enables the models to converge at a faster pace. The utilization of AMP enhances the speed of computations by taking advantage of the advantages offered by lower precision arithmetic while maintaining the correctness of the model. Furthermore, this study investigates the application of Pin Memory as a strategy to enhance the efficiency of data transmission between the central processing unit and the graphics processing unit, thereby offering a promising opportunity for enhancing overall performance. The experimental findings demonstrate that the combination of these sophisticated methodologies significantly accelerates the training of DNNs, offering vital insights for experts seeking to improve the effectiveness of deep learning processes.

研究の動機と目的

• 大規模データセットを用いた単一GPU上での深層ニューラルネットワーク（DNN）の高い計算コストと長時間の学習を解決すること。
• 画像分類タスクにおける最先端の3つのモデル—ResNet50、ビジョントランスフォーマー（ViT）、EfficientNet—の性能を評価・最適化すること。
• 勾配蓄積、自動混合精度、ピンメモリの主な高速化技術が、学習速度およびモデル効率に与える影響を調査すること。
• 研究者および実務家が再現可能かつオープンソースで利用可能な最適化済み学習パイプラインを提供すること。

提案手法

• 限られたGPUメモリ上でも大きなバッチサイズをシミュレートするために、勾配蓄積を採用し、小さなステップごとの勾配で安定した学習を可能にした。
• PyTorchのautocastおよびGradScalerを用いて、FP16による計算を高速化しながらも、モデルの安定性と精度を維持する自動混合精度（AMP）を適用した。
• CPUとGPU間のデータ転送を高速化するため、ピンメモリ（ページロックメモリ）を活用し、データロードのボトル neck を軽減した。
• 勾配蓄積、AMP、ピンメモリの3つの技術を統合した一貫した学習パイプラインを、ResNet50、ViT、EfficientNetを含む複数のDNNアーキテクチャに適用した。
• 学習のオchestrationにPyTorch Igniteを用い、CIFAR10およびCIFAR100データセット上で精度、F1スコア、実行時間などのメトリクスを監視した。
• 最適な初期学習率、最適化手法（Adam、AdamW、SGD）、重み減衰、勾配クリッピングを含むハイパーパramータチューニングを各モデルで実施した。

Figure 1: Grad accumulation

実験結果

リサーチクエスチョン

• RQ1 勾配蓄積、自動混合精度、ピンメモリが、単一GPU上でのDNNの学習速度に個別および統合的に与える影響は何か？
• RQ2 最適化された条件下で、ResNet50、ViT、EfficientNetの中から、精度と学習時間のバランスが最も優れたモデルはどれか？
• RQ3 ハードウェアに配慮した最適化戦略を適用することで、学習時間をどれほど短縮できるか？精度を損なわずに行える範囲はどの程度か？
• RQ4 提案された最適化パイプラインは、異なるDNNアーキテクチャやデータセットに一般化可能か？

主な発見

• EfficientNetはCIFAR10で98％、CIFAR100で90％の最高精度を達成し、両方の指標でResNet50およびViTを上回った。
• 最適化により、EfficientNetの学習時間はCIFAR10で1.41時間から1.06時間へ、CIFAR100で1.42時間から1.11時間へと短縮され、21％の短縮が達成された。
• ViTはCIFAR10で97.1％、CIFAR100で84.3％の精度を達成し、CIFAR10では4.2時間から2.0時間、CIFAR100では6.2時間から2.5時間へと学習時間が短縮された。
• ResNet50はCIFAR10で0.86時間から0.46時間、CIFAR100で0.85時間から0.18時間へと短縮され、最適化で79％の改善が得られた。
• 勾配蓄積、AMP、ピンメモリの組み合わせにより、全モデルで最大70％の学習時間短縮が達成され、特にResNet50およびViTで顕著な向上が見られた。
• 最適化されたパイプラインは、モデルの精度を維持しながら学習効率を顕著に向上させ、単一GPU環境におけるソフトウェアレベルの最適化の有効性を示した。

Figure 2: Pin memory