[論文レビュー] Searching for Fast Model Families on Datacenter Accelerators

Sheng Li, Mingxing Tan+5 more|arXiv (Cornell University)|Feb 10, 2021

Advanced Neural Network Applications参考文献 48被引用数 4

ひとこと要約

本論文は、TPUv3 や GPUv100 などのデータセンターアクcelerator向けに最適化されたハードウェアに配慮したニューラルアーキテクチャ探索（NAS）と遅延に配慮したコン pound スケーリング（LACS）を提案する。空間から深さへの変換、畳み込みの統合、ブロック単位の活性化関数といった、アクセルレータにやさしい演算を含む検索空間を設計し、精度と遅延を同時に最適化することで、EfficientNet-X が得られ、精度は同等ながら推論が最大 2.3× 速くなった。

ABSTRACT

Neural Architecture Search (NAS), together with model scaling, has shown remarkable progress in designing high accuracy and fast convolutional architecture families. However, as neither NAS nor model scaling considers sufficient hardware architecture details, they do not take full advantage of the emerging datacenter (DC) accelerators. In this paper, we search for fast and accurate CNN model families for efficient inference on DC accelerators. We first analyze DC accelerators and find that existing CNNs suffer from insufficient operational intensity, parallelism, and execution efficiency. These insights let us create a DC-accelerator-optimized search space, with space-to-depth, space-to-batch, hybrid fused convolution structures with vanilla and depthwise convolutions, and block-wise activation functions. On top of our DC accelerator optimized neural architecture search space, we further propose a latency-aware compound scaling (LACS), the first multi-objective compound scaling method optimizing both accuracy and latency. Our LACS discovers that network depth should grow much faster than image size and network width, which is quite different from previous compound scaling results. With the new search space and LACS, our search and scaling on datacenter accelerators results in a new model series named EfficientNet-X. EfficientNet-X is up to more than 2X faster than EfficientNet (a model series with state-of-the-art trade-off on FLOPs and accuracy) on TPUv3 and GPUv100, with comparable accuracy. EfficientNet-X is also up to 7X faster than recent RegNet and ResNeSt on TPUv3 and GPUv100.

研究の動機と目的

• データセンターアクセラレータ（TPU や GPU）における理論的 FLOPs と実際の推論遅延の間の性能ギャップを是正すること。
• 最先端の CNN におけるハードウェア固有のボトル neck を同定すること、例えば低効率演算強度や並列処理の劣化。
• データセンターアクセラレータに最適化された NAS 検索空間を設計し、演算強度と実行効率を向上させること。
• 精度と推論遅延の両方を同時に最適化する多目的なコンパoundスケーリング手法（LACS）を開発すること。
• 現代のデータセンターアクセラレータで優れた精度-遅延トレードオフを達成する新しいモデルファミリー、EfficientNet-X を生成すること。

提案手法

• ルーフラインモデルを用いて TPUv3 と GPUv100 の定量的分析を実施し、低効率演算強度と最適でない並列処理が FLOPs-遅延非比例性を引き起こしていることを特定する。
• 空間から深さへの変換、空間からバッチへの変換、ハイブリッド統合畳み込み（通常および深度可分）、ブロック単位の活性化関数を組み込んだ、DCアクセラレータに最適化された NAS 検索空間を設計する。
• 推論遅延に配慮したコンパoundスケーリング（LACS）を提案する。これは、モデルファミリー生成中に精度と遅延の両方を同時に最適化する多目的スケーリング手法である。
• TPUv3 および GPUv100 で分離された NAS と LACS プロセスを用い、アクセラレータ固有のモデルファミリーを生成することで、ハードウェアに配慮した最適化を確保する。
• 得られたモデルファミリー、EfficientNet-X を TPUv3 および GPUv100 で訓練・評価し、SOTA ベースラインと遅延と精度を比較する。
• TPUv2 から TPUv3 への移行時のスループット向上を測定することで、アクセラレータ世代間での一般化を検証する。

Figure 1: Unified accelerator-optimized NAS and Latency-aware Compound Scaling (LACS) to search model families optimized for TPUs and GPUs. The same multi-objective with both latency and accuracy is used for both NAS and model scaling. For a given accelerator, a base model (m1) is obtained via NAS w

実験結果

リサーチクエスチョン

• RQ1 なぜ、CPU とは異なり、データセンターアクセラレータ（TPU や GPU）では FLOPs-遅延関係が崩れてしまうのか？
• RQ2 TPU や GPU のハードウェア固有の特性をより効果的に活用できるように、ニューラルアーキテクチャ探索をどのように改善できるか？
• RQ3 どのアーキテクチャ的要素が、データセンターアクセラレータでの効率演算強度と実行効率を向上させるか？
• RQ4 精度と遅延の両方を最適化する多目的コンパoundスケーリング（LACS）は、単一目的のスケーリングと比べて、最適なスケーリング係数にどのような違いをもたらすか？
• RQ5 提案手法は、異なる世代のデータセンターアクセラレータ間でどの程度一般化可能か？

主な発見

• EfficientNet-X は TPUv3 で EfficientNet より最大 2.3× 速く、GPUv100 では最大 2.1× 速く、トップ-1 精度は同等である。
• TPUv3 では、RegNet より 7× 速く、ResNeSt より 48% 速く、平均でそれぞれ 7X および 48% のスループット向上を達成している。
• GPUv100 では、RegNet より 82% 速く、ResNeSt より 48% 速く、平均で 82% および 48% のスループット向上を達成している。
• TPUv2 から TPUv3（2倍のピーク性能）に移行する際、EfficientNet-X は約 1.9× の幾何平均スループット向上を達成した。これに対して EfficientNet は約 1.5× にとどまり、30% 高いスケーリング効率を示した。
• LACS は、ネットワークの深さが画像の解像度や幅よりも著しく速く成長すべきであると特定した。これは、従来のコンパoundスケーリングの実践とは対照的である。
• 本手法はアクセラレータ世代間で良好に一般化しており、ハードウェアに配慮した設計が、ハードウェアのアップグレード時に性能向上をより顕著に実現することを示している。

Figure 2: Rooflines of TPUv3, Volta SMX2 GPU, and Xeon Skylake CPU. TPU and GPU have overlapped rooflines because of their similar peak computation rate and memory bandwidth.