[論文レビュー] Hyper-Tune: Towards Efficient Hyper-parameter Tuning at Scale

Yang Li, Yu Shen+6 more|arXiv (Cornell University)|Jan 18, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

Hyper-Tune は、自動リソース割り当て、非同期スケジューリング、およびマルチフィデリティ最適化を活用してハイパーパramータ最適化を高速化するスケーラブルで分散型のハイパーパramータチューニングフレームワークです。XGBoost、CNN、RNN、ニューラルアーキテクチャサーチを含む多様な機械学習ワークロードにおいて、BOHB や A-BOHB よりも最大 11.2× および 5.1× の高速化を達成しています。

ABSTRACT

The ever-growing demand and complexity of machine learning are putting pressure on hyper-parameter tuning systems: while the evaluation cost of models continues to increase, the scalability of state-of-the-arts starts to become a crucial bottleneck. In this paper, inspired by our experience when deploying hyper-parameter tuning in a real-world application in production and the limitations of existing systems, we propose Hyper-Tune, an efficient and robust distributed hyper-parameter tuning framework. Compared with existing systems, Hyper-Tune highlights multiple system optimizations, including (1) automatic resource allocation, (2) asynchronous scheduling, and (3) multi-fidelity optimizer. We conduct extensive evaluations on benchmark datasets and a large-scale real-world dataset in production. Empirically, with the aid of these optimizations, Hyper-Tune outperforms competitive hyper-parameter tuning systems on a wide range of scenarios, including XGBoost, CNN, RNN, and some architectural hyper-parameters for neural networks. Compared with the state-of-the-art BOHB and A-BOHB, Hyper-Tune achieves up to 11.2x and 5.1x speedups, respectively.

研究の動機と目的

• モデルやデータの複雑さが増す中で、特に産業スケールの応用において顕著になるハイパーパramータチューニングのスケーラビリティのボトルネックを解消すること。
• リソース使用とスケジューリングの最適化により、ディープラーニングや大規模な機械学習モデルの高い評価コストを低減すること。
• 知的な設定選択とリソース割り当てを通じて、ハイパーパramータサーチにおけるサンプル効率と収束速度を向上させること。
• XGBoost、CNN、RNN、ニューラルアーキテクチャハイパーパramータを含む多様なモデルに対して、堅牢で効率的なチューニングを可能にすること。
• 並列ワーカーの数が増加するに従っても、高いパフォーマンスを維持できるようにスケーラブルに設計されたシステムを構築すること。

提案手法

• 初期の性能信号に基づいて動的にトレーニングリソースを割り当てる自動リソース割り当てを導入し、性能が低い設定への無駄を最小限に抑える。
• 非同期スケジューリング（D-ASHA）を採用することで、ワーカーが独立して処理を進められるようにし、無駄な待機時間を削減し、システムの利用効率を向上させる。
• 低フィデリティ評価（例：部分的なトレーニング）を活用して設定選択をガイドするマルチフィデリティ最適化を適用し、探索の効率を向上させる。
• 複数のリソースレベルで有望な設定を優先的に選択するためのブラケット選択を導入し、収束速度を向上させる。
• ASHAにおける頻繁なプロモーションを防ぐために遅延戦略（D-ASHA）を採用し、非同期環境下でのサンプル効率を改善する。
• これらのコンponentsを統合した分散フレームワークとして統合し、256 ワーカーまでスケーリング可能であり、実世界の産業ワークロードをサポートする。

実験結果

リサーチクエスチョン

• RQ1 モデルやデータの複雑さが増す中で、ハイパーパramータチューニングシステムはどのようにしてより効率的かつスケーラブルにできるか？
• RQ2 非同期スケジューリングと動的リソース割り当ては、チューニングのパフォーマンスとシステム利用効率にどのような影響を与えるか？
• RQ3 マルチフィデリティ最適化は、高フィデリティまたはランダムサーチと比較して、顕著にサンプル効率を向上させることができるか？
• RQ4 ブラケット選択は分散型ハイパーパramータチューニングにおける収束速度とロバストネスをどのように向上させるか？
• RQ5 提案されたシステムは、実世界の産業応用において、並列ワーカーの数が増加するに従ってどの程度スケーリング可能か？

主な発見

• Hyper-Tune は、ベンチマークおよび実世界のチューニングタスクにおいて、BOHB より最大 11.2×、A-BOHB より最大 5.1× の高速化を達成している。
• 256 ワーカーを用いた場合、カウンティングワンズタスクでは 145.7×、カバータイプタスクでは 18.0× の高速化が、シーケンシャル実行と比較して達成されている。
• アブレーションスタディの結果、ブラケット選択が最大のパフォーマンス向上をもたらし、A-BOHB より AUC を 0.54% 向上させた。
• D-ASHA は頻繁なプロモーションを低減することでサンプル効率を向上させ、カバータイプデータセットでは検証誤差を 0.5% 減少させた。
• マルチフィデリティ最適化は、低フィデリティ測定値を効果的に活用して探索をガイドするため、ランダム最適化および高フィデリティ最適化を上回る性能を示した。
• 10億件を超えるインスタンスを含む産業用レコメンデーションタスクにおいて、Hyper-Tune は手動設定より AUC を 0.87% 向上させ、A-BOHB よりも 0.54% 高めた。