[論文レビュー] A System for Massively Parallel Hyperparameter Tuning

Liam Li, Kevin Jamieson+5 more|arXiv (Cornell University)|Oct 13, 2018

Machine Learning and Data Classification参考文献 35被引用数 67

ひとこと要約

本論文は、非同期でスケーラブルなハイパーパラメータ最適化アルゴリズムASHAを紹介し、性能の低い構成を積極的に早期停止して大規模な並列性を可能にする点、およびDetermined AIでの実運用化について論じている。

ABSTRACT

Modern learning models are characterized by large hyperparameter spaces and long training times. These properties, coupled with the rise of parallel computing and the growing demand to productionize machine learning workloads, motivate the need to develop mature hyperparameter optimization functionality in distributed computing settings. We address this challenge by first introducing a simple and robust hyperparameter optimization algorithm called ASHA, which exploits parallelism and aggressive early-stopping to tackle large-scale hyperparameter optimization problems. Our extensive empirical results show that ASHA outperforms existing state-of-the-art hyperparameter optimization methods; scales linearly with the number of workers in distributed settings; and is suitable for massive parallelism, as demonstrated on a task with 500 workers. We then describe several design decisions we encountered, along with our associated solutions, when integrating ASHA in Determined AI's end-to-end production-quality machine learning system that offers hyperparameter tuning as a service.

研究の動機と目的

• 生産品質を備えた大規模並列ハイパーパラメータ最適化システムの必要性を喚起する。
• 並列性と積極的な早期停止を活用する、単純で堅牢なアルゴリズム（ASHA）を提案する。
• シーケンシャルおよびパラレル設定において、ASHAを最先端手法と実証的に比較する。
• ASHAをMLプラットフォームに統合するための生産志向の設計判断を示す。

提案手法

• Successive Halving（SHA）と、それの並列かつ大規模なレジームにおける限界を説明する。
• 完全な階層の完了を待たずに構成を昇格させるためのAsynchronous SHA（ASHA）を導入する。
• 昇格とジョブスケジューリング規則を含む、ASHAの正式なアルゴリズムを提供する。
• シーケンシャルおよびパラレル実験において、SHA/ASHAをPBT、Vizier、BOHB、および他の手法と比較する。
• ASHAがNASスタイルおよび大規模言語モデルのチューニングに適用できることを示す。

実験結果

リサーチクエスチョン

• RQ1 SHAを並列かつ大規模なレジームへ適応させ、待機時間を最小化しスループットを最大化するにはどうすればよいか？
• RQ2 非同期プロモーション戦略（ASHA）は、分散環境において同期SHAや他のベースラインを上回るか？
• RQ3 ASHAはCNN NASタスク、RNN NASタスク、および大規模言語モデルタスクでどのように性能を示すか？
• RQ4 実際のMLプラットフォームにASHAをデプロイするために必要な生産設計上の判断は何か？
• RQ5 積極的な早期停止と誤昇格への頑健性の実践上のトレードオフは何か？

主な発見

• ASHAは同期SHAよりも高速に構成を発見し、いくつかのベンチマークでPBT、BOHB、Vizierを上回る。
• ASHAはワーカー数とともに線形にスケールし、分散環境で実質的なスピードアップを達成する。
• ASHAは CNN および RNN アーキテクチャの NAS ベンチマークで代替手法を上回り、パープレキシティと精度指標を改善する。
• 最大500ワーカーを用いた大規模言語モデルのチューニングでは、ASHAは約time(R)で良好な構成を見つけ、目標パープレキシティに対してVizierの約3倍速い。
• ASHAの生産志向の設計は、実際のMLプラットフォームにおける使いやすさ、自動スケーリング、スケジューリング、再現性を向上させる。