[論文レビュー] Benchmarking Neural Network Training Algorithms

George E. Dahl, Frank Schneider+23 more|arXiv (Cornell University)|Jun 12, 2023

Advanced Neural Network Applications被引用数 6

ひとこと要約

本論文は、標準化された条件下で深層学習の学習アルゴリズムを評価するための競争的時間対結果ベンチマーク「AlgoPerf」を紹介する。訓練完了の定義、ワークロード感受性、ハイパーパrameterチューニングといった公平な比較における主要な課題に対処するため、固定ハードウェア、多様なワークロードバージョン、パフォーマンスプロファイルを用い、最適化手法間で顕著な性能差が存在することを示し、一時的な最先端水準を確立した。

ABSTRACT

Training algorithms, broadly construed, are an essential part of every deep learning pipeline. Training algorithm improvements that speed up training across a wide variety of workloads (e.g., better update rules, tuning protocols, learning rate schedules, or data selection schemes) could save time, save computational resources, and lead to better, more accurate, models. Unfortunately, as a community, we are currently unable to reliably identify training algorithm improvements, or even determine the state-of-the-art training algorithm. In this work, using concrete experiments, we argue that real progress in speeding up training requires new benchmarks that resolve three basic challenges faced by empirical comparisons of training algorithms: (1) how to decide when training is complete and precisely measure training time, (2) how to handle the sensitivity of measurements to exact workload details, and (3) how to fairly compare algorithms that require hyperparameter tuning. In order to address these challenges, we introduce a new, competitive, time-to-result benchmark using multiple workloads running on fixed hardware, the AlgoPerf: Training Algorithms benchmark. Our benchmark includes a set of workload variants that make it possible to detect benchmark submissions that are more robust to workload changes than current widely-used methods. Finally, we evaluate baseline submissions constructed using various optimizers that represent current practice, as well as other optimizers that have recently received attention in the literature. These baseline results collectively demonstrate the feasibility of our benchmark, show that non-trivial gaps between methods exist, and set a provisional state-of-the-art for future benchmark submissions to try and surpass.

研究の動機と目的

• 深層学習の学習アルゴリズムを比較するための信頼性があり標準化されたベンチマークの不足に対処すること。
• 実験的比較における3つの核心的課題を解決すること：正確な訓練時間の測定、ワークロード感受性、公平なハイパーパrameterチューニング。
• 再現可能で競争的なベンチマークを確立し、学習アルゴリズムの改善を公平に評価可能にする。
• 複数のワークロードにわたるベースライン最適化手法の評価を通じて、ベンチマークの実現可能性を示すこと。
• きめ細やかな標準化評価を通じて、将来のアルゴリズム提出のための一時的な最先端水準を設定すること。

提案手法

• 再現性と公平性を確保するため、固定ハードウェアと複数の多様なワークロードを用いた時間対結果ベンチマークを設計する。
• モデルアーキテクチャ、データ、訓練ハイパーパrameterを変更することでワークロードバージョンを定義し、さまざまな設定におけるロバストネスをテストする。
• 外部チューニング（ベースワークロード上で実施）と自己チューニング（各バージョンで実施）の二重チューニングプロトコルを実装し、一般化性能を評価する。
• パフォーマンスプロファイルを用いてワークロード全体にわたる結果を集約し、アルゴリズム効率の強固な比較を可能にする。
• 過剰適合を防ぐためにスコアリングにホールドアウトワークロードを統合し、一般化可能性を確保する。
• 計算コストが高く不安定な自動ランダマイゼーションに依存せず、手動によるワークロードバージョンの構築プロトコルを採用する。

実験結果

リサーチクエスチョン

• RQ1 多様な深層学習ワークロードにおいて、訓練速度をどのように正確に測定・定義できるか？
• RQ2 モデルアーキテクチャやデータ分布が異なる状況下で、最適化手法の順位はどの程度変化するか？
• RQ3 異なるハイパーパrameterチューニング手順を要する学習アルゴリズム同士をどのように公平に比較できるか？
• RQ4 標準化されたベンチマークは、ワークロード変動に強いアルゴリズムを検出・評価できるか？
• RQ5 きめ細やかな標準化条件下で評価された現在の最先端最適化手法の間には、どの程度のパフォーマンスギャップが存在するか？

主な発見

• AlgoPerfベンチマークは、広く使われている最適化手法の間で顕著なパフォーマンス差を明確に特定でき、アルゴリズム改善が測定可能で実効性を持つことを示した。
• ベースライン結果から、AdamW や NadamW といった最適化手法が、複数のワークロードにおいて標準的な SGD よりも顕著に優れた時間対結果を達成しており、一部のケースでは20％以上の性能ギャップが確認された。
• パフォーマンスプロファイルから、一部の最適化手法はワークロード変動に対してよりロバストである一方、他の手法はモデルやデータ設定が変わると著しく性能を低下させることがわかった。
• ホールドアウトワークロードの使用により、特定の設定への過剰適合が防がれ、上位の提出物が良好に一般化していることが保証された。
• 自動ランダマイゼーションに比べ、手動によるワークロードバージョンの構築がより効果的かつ効率的であることが判明した。自動ランダマイゼーションは高い拒否率と不安定性に苦しんでいた。
• ベンチマークは一時的な最先端水準を確立し、将来のアルゴリズム提出がそれを上回る明確な目標を提示した。