[論文レビュー] DEHB: Evolutionary Hyperband for Scalable, Robust and Efficient Hyperparameter Optimization

Noor H. Awad, Neeratyoy Mallik+1 more|arXiv (Cornell University)|May 20, 2021

Advanced Multi-Objective Optimization Algorithms被引用数 9

ひとこと要約

DEHB は、微分進化（DE）とハイパーバンドのバンディットベースリソース割り当てを組み合わせることで、スケーラブルで、ロバストかつ効率的なハイパラメータ最適化（HPO）手法を提案する。高次元離散問題において、BOHB やランダムサーチと比較して最大1000倍の高速化を達成し、シンプルさと低い計算オーバーヘッドを維持している。

ABSTRACT

Modern machine learning algorithms crucially rely on several design decisions to achieve strong performance, making the problem of Hyperparameter Optimization (HPO) more important than ever. Here, we combine the advantages of the popular bandit-based HPO method Hyperband (HB) and the evolutionary search approach of Differential Evolution (DE) to yield a new HPO method which we call DEHB. Comprehensive results on a very broad range of HPO problems, as well as a wide range of tabular benchmarks from neural architecture search, demonstrate that DEHB achieves strong performance far more robustly than all previous HPO methods we are aware of, especially for high-dimensional problems with discrete input dimensions. For example, DEHB is up to 1000x faster than random search. It is also efficient in computational time, conceptually simple and easy to implement, positioning it well to become a new default HPO method.

研究の動機と目的

• 既存のHPO手法が高次元かつ離散的ハイパラメータ空間において抱える限界、特にニューラルアーキテクチャサーチ（NAS）における課題に対処すること。
• 多様なHPO問題において、強力な「いつでも性能」と最終的な性能を維持する手法を開発すること。
• ハイパーバンドの効率的なリソース割り当ての長所と、DEの離散的・高次元探索空間におけるロバスト性を統合すること。
• ベイジアン最適化の計算オーバーヘッドを回避する、シンプルで効率的かつ並列化可能なHPO手法を構築すること。

提案手法

• DEHB は、ハイパーバンド（HB）のバンディットフレームワーク内に微分進化（DE）を統合し、HBのマルチアームバンディットによるリソース割り当てを用いて有望な設定に集中する。
• 各設定において、固定パラメータ（F=0.5、CR=0.5）を用いた変異、交差、選択操作により、DEがハイパラメータベクトルの集合を進化させる。
• HBの逐次半減法による早期停止を用い、性能に応じてリソースを段階的に減らし、劣悪な性能の設定を効率的に pruning する。
• DEHB は複数の忠実度レベル（例：エポック）で設定を評価するマルチファシリティ設定で動作し、無駄な計算を避けるために早期停止を実装する。
• アルゴリズムは候補解の集合を維持し、反復的に更新する。新しい候補解はDE操作により生成され、増加するリソースレベルで評価される。
• 最小限のハイパーパラメータ（F と CR のみ、両者とも 0.5 に設定）を採用しており、多様なベンチマークにわたる使いやすさとロバスト性を確保している。

実験結果

リサーチクエスチョン

• RQ1 DE とハイパーバンドを組み合わせることで、既存のアプローチよりも高次元離散問題に対してよりロバストかつ効率的なHPO手法を達成できるか？
• RQ2 多様なHPOベンチマークにおいて、DEHB はBOHB やランダムサーチと比較して、最終的性能とサンプル効率の点で優れているか？
• RQ3 DEHB は、サーヴィレートベンチマーク、ベイジアンニューラルネットワーク、強化学習、ニューラルアーキテクチャサーチを含む多様な問題タイプにおいて、強力な性能を維持できるか？
• RQ4 DEHB はハイパーパラメータ設定に対して感受性が強く、一括設定で多様な問題で優れた性能を発揮できるか？

主な発見

• DEHB はHPO問題においてランダムサーチと比較して最大1000倍の収束速度向上を達成し、トピック関数では最大33,440倍の高速化を実現した。
• 13個の表形式ニューラルアーキテクチャサーチベンチマークにおいて、DEHB はBOHB よりも最大32倍のサンプル効率を達成した。
• 全ベンチマークにおいて平均順位2.39を達成し、最終的性能において他のすべての手法を顕著に上回った。
• アブレーションスタディの結果、F=0.5 および CR=0.5 に設定することで、多様なベンチマークでロバストな性能が得られ、ハイパーパラメータ選択への感受性が最小限に抑えられることが確認された。
• BOHB が苦戦する高次元離散問題においても、DEHB は強力な性能を維持しており、このような環境下での優れたロバスト性を示した。
• 計算的に効率的であり、モデルベースのベイジアン最適化と比較して最小限のオーバーヘッドを伴い、並列実行に対しても良好にスケーリングする。